Über die (Fehl-)interpretationen von Statistiken
Über einen ZEIT Artikel („Kann das stimmen?“ von Stefanie Kara) bin ich auf die Rubrik UNSTATISTIK des Monats des RWI – Leibniz-Institut für Wirtschaftsforschung, gestossen: Hierin werden Statistiken aus Medienberichten Monat für Monat zerpflückt. Das ist teilweise erschreckend, doch häufiger recht lustig: Denn es ist herrliches Futter, wie Zahlen und Statistiken (fehl-)interpretiert werden.
Mehr Beispiele gefällig? Dann schauen Sie mal hier vorbei:
http://www.rwi-essen.de/unstatistik/
Eines meiner Lieblingsbeispiele ist die Schlagzeile:
„34 Prozent mehr Parkinson durch fettarme Milchprodukte“
Dabei geht es um die Verwendung von relativen und absoluten Prozentwerten. Das ist auch gern genommen in der Werbewirkungsforschung – wenn Sie zum Beispiel von einem Uplift bzw. einer Steigerung der Werbewirkung von 150 Prozent hören, sollten Sie hellhörig werden: Es kann bedeuten, dass sie vorher bei 20 Prozent und nun bei 50 Prozent liegt – wunderbar. Es kann aber auch sein, dass sie in absoluten Zahlen ausgedrückt vorher bei 0,2 Prozent und nun bei 0,5 Prozent liegt. Klingt nicht so prickelnd, oder?
Also schauen Sie genau hin, wenn Ihnen jemand etwas über relative prozentuale Veränderungen erzählen will: Im Parkinson-Beispiel berichtete web.de über zwei Beobachtungsstudien in der Fachzeitschrift Neurology: „Unter den Personen, die drei oder mehr Portionen fettreduzierter Milchprodukte pro Tag konsumiert haben, war die Rate derer, die die Nervenkrankheit Parkinson entwickelten, 34 Prozent höher.“ Auch bei einer Portion täglich sei das Risiko „merkbar erhöht.“
Ein 34 Prozent höheres Risiko – wow! Heißt das, dass von je 100 Personen welche fettarme 1,5%-Milch trinken, 34 später Parkinson-Symptome bekommen? Natürlich nicht!
In absoluten Zahlen steckt folgendes dahinter: Von den Personen, die keine (bzw. weniger als eine Portion pro Tag) fettarme Milchprodukte zu sich nahmen, erkrankten rund 25 Jahre später 0,6 Prozent an Parkinson, bei drei oder mehr Portionen stieg diese Zahl auf 1 Prozent. Der absolute Risikoanstieg ist also 0,4 Prozentpunkte. Das erzeugt eher wenig Aufmerksamkeit – die relativen Zahlen aber schon: Demnach steigt das relative Risiko um 34 Prozent.
Die Autoren (Psychologe Gerd Gigerenzer und der Ökonom Thomas Bauer) merken die gute Nachricht an, dass – anders als web.de – die meisten Medien-Berichte die absoluten Zahlen genannt haben, wie etwa aerzteblatt.de. Auch wurde regelmäßig berichtet, dass es sich um Beobachtungsstudien und keine experimentellen Studien handelte, was bedeutet, dass man mit kausalen Schlüssen – fettarme Milch bedingt Parkinson – sehr vorsichtig sein muss. Sie haben insgesamt den Eindruck, dass sich die Berichterstattung nach 5 Jahren „Unstatistik“ merkbar verbessert. Auch das ist allerdings eine Korrelation und kein kausaler Beweis. ;o)
Da die kausale Frage ungeklärt ist und der absolute Effekt – wenn es ihn gibt – klein ist, sollte man sich also keine großen Sorgen machen und einfach entspannt die Milch trinken, die einem schmeckt, so die Autoren. Na dann, Prost!
Trotzdem: Werbung wirkt!
Was die Werbewirkung angeht, möchte ich aus persönlicher Erfahrung der Auswertung von weit über 100 Werbewirkungsstudien mit experimentellem Forschungsdesign feststellen: Werbung wirkt. Es lassen sich wirklich immer Effekte feststellen, wenn man eine Kontrollgruppe ohne gemessenen Werbekontakt mit einer Testgruppe mit gemessenen Werbewirkungskontakt(en) vergleicht. Vorausgesetzt, beide Gruppen sind strukturell vergleichbar. Wenn nicht, wird mit einer Gewichtung nachgeholfen.
Ich als leidenschaftliche Mediaforscherin liebe es, in Daten zu wühlen und nach Effekten zu suchen. Und nach meiner knapp 20jährigen Erfahrung aus der Werbeforschung möchte ich anmerken:
Die Frage ist nicht, ob, sondern wie gut Werbung wirkt!
Die Herausforderung ist es, die – teilweise kleinen – Effekte möglichst interessant und anschaulich zu inszenieren. Ohne die Ergebnisse vorsätzlich zu verfälschen, wohlgemerkt.
Ich persönlich halte nichts von dem Sprichwort „Traue keiner Statistik, die Du nicht selbst gefälscht hast.“
Vielmehr formuliere ich es lieber so: „Traue keiner Statistik, die Du nicht selbst ERSTELLT hast.„
In Sachen Werbewirkungsforschung plädiere ich vor dem Hintergrund obiger Erfahrungen verstärkt dafür, sich die absoluten Prozentwerte anzuschauen und nicht den relativen Uplift. Und den höchsten Erkenntnisgewinn erzielt man meiner Erfahrung nach durch den Vergleich der eigenen KPIs mit denen des Wettbewerbs. Benchmarks helfen weiter als der schnöde Vergleich (Uplift) zwischen einer Gruppe ohne Werbemittelkontakt(en) mit einer strukturgleichen Testgruppe, die das Werbemittel gesehen hat. Aber hierzu folgt in naher Zukunft ein ausführlicherer Beitrag.
Wie ist Ihre Meinung zum Thema Umgang mit Statistiken und Studienergebnissen in den Medien und der Außendarstellung? Hat sich die „Statistik-Allgemeinbildung“ eher zum Positiven oder Negativen verändert?
Ich überlege, eine neue Rubrik in Richtung Unstatistik des Monats einzuführen. Wie wäre es mit dem Titel Fake-Statistik des Monats? Unsere MaFo-Fundstücke erfreuen sich auch steigender Beliebtheit. Offenbar ist es am unterhaltsamsten und lehrreichsten, anderen beim Fehlermachen zuzuschauen…
Haben Sie eine Fake-Statistik gefunden?
Sind Ihnen in letzter Zeit Studien-Publikationen aufgefallen, in denen Zahlen (fehl-)interpretiert wurden? Dann her damit! Wir interpretieren sie neu.
Beispiele bitte an: Fake-Statistik@mediaresearch42.de
Ich bin gespannt!
Herzliche Grüße und einen wunderbaren Restsommer,
Sandra Gärtner
Über die „Unstatistik des Monats“: Der Berliner Psychologe Gerd Gigerenzer, der Bochumer Ökonom Thomas Bauer und der Dortmunder Statistiker Walter Krämer hinterfragen seit 2012 mit ihrer „Unstatistik des Monats“ jeden Monat sowohl jüngst publizierte Zahlen als auch deren Interpretationen. Ziel der Autoren ist es, humorvoll und aufklärerisch dazu beizutragen, mit Daten und Fakten vernünftig umzugehen, sie korrekt zu interpretieren und eine immer komplexere Welt und Umwelt sinnvoller zu beschreiben.
Über die Autorin: Dr. Sandra Gärtner ist Mitgründerin des Marktforschungs- und Technologiedienstleisters GreenAdz sowie mit mediaresearch42 selbstständige Marktforschungs-Beraterin mit Leidenschaft und grüner Seele aus Hamburg.
Sie ist außerdem Mitglied des Expertenbeirats Social Media des BVDW und bewertet dort regelmäßig die Erfolgsmesskonzepte von Social Media Kampagnen. Seit fast 20 Jahren fasziniert von Zahlen und Fakten geht sie nicht nur Werbewirkungszahlen auf den Grund, sondern hat die Rubrik „Fundstück des Monats“ ins Leben gerufen – ein Fundus schlechter Online-Fragen-Beispiele, um zu zeigen, wie Marktforschung besser gemacht werden kann.