Mit Schokolade zum Nobelpreis?
Wie leicht in der Statistik falsche Zusammenhänge entstehen können
In der renommierten medizinischen Fachzeitschrift New England Journal of Medicine erschien am 18. Oktober 2012 eine aufsehenerregende Studie. Mit einem Ergebnis, auf das viele gewartet haben: Schokolade essen macht offensichtlich schlau. Denn je mehr Schokolade in einem Land gegessen wird, desto mehr Nobelpreisträger:innen bringt es hervor. Der Autor, der schweizerische Kardiologe Franz Messerli, forschte zu diesem Zeitpunkt an der Columbia University in New York und hat – wie es sich für einen Schweizer gehört – eine Leidenschaft für Schokolade. Vor allem für die dunklen Sorten mit einem hohen Kakaoanteil.
Deutlicher Zusammenhang
Messerli brachte für 22 Länder der Welt den Schokoladenkonsum und die Anzahl der verliehenen Nobelpreise in einen Zusammenhang. Ganz oben: die Schweiz – mit einem sehr hohen Pro-Kopf-Verbrauch an Schokolade und der höchsten Anzahl an Nobelpreisen. Messerli fand bei der Analyse der Daten nur eine Ausnahme, die er sich nicht recht erklären konnte: In Schweden bestand dieser Zusammenhang nicht. Zufall? Deshalb entschloss er sich, Schweden aus der Gesamtanalyse herauszunehmen. Dadurch wurde der statistische Effekt noch deutlicher.
Der Wissenschaftler konnte sogar genaue Zahlen berechnen: Der Effekt ließ sich für Länder nachweisen, in denen die Einwohner:innen mindestens zwei Kilogramm Schokolade pro Jahr verzehren. Für jeweils 400 Gramm mehr, also vier Tafeln, kommt ein Nobelpreis dazu. Und das Beste: Nach oben schien es keine Begrenzung zu geben. Das heißt: Je mehr Schokolade alle essen, desto mehr Nobelpreisträger:innen hat das Land. Das ist doch mal ein klares Ziel für eine nationale Anstrengung.
Was die Beobachtung stützt
Es gab also offenbar eine klare Dosis-Wirkungs-Beziehung, kurz gesagt: Viel hilft viel. In einem bestimmten Dosisbereich lässt sich so etwas auch bei Arzneimitteln beobachten. Und es gibt sogar eine plausible theoretische Erklärung für den beobachteten Effekt: Schließlich enthält Schokolade Flavonoide, also pflanzliche Stoffe aus dem Kakao, denen jede Menge positive Eigenschaften nachgesagt werden. Zum Beispiel, dass sie die geistigen Fähigkeiten fördern. Alles in allem also eine sehr überzeugende Geschichte. Wäre da nur nicht ein kleines Problem.
Statistischer Zusammenhang oder Ursache?
Der Artikel war nicht ernst gemeint. Messerlis Veröffentlichung war eine Satire auf all die Studien, die Daten auf ähnliche Art und Weise miteinander in Beziehung setzen. Er wollte damit auf einen Denkfehler hinweisen, der ganz leicht passiert: Wir verwechseln gerne Korrelation mit Kausalität. Wenn zwei Datenreihen miteinander in Bezug zu stehen scheinen, weil sie ähnlich verlaufen (Korrelation), heißt das noch lange nicht, dass das eine die Ursache für das andere ist (Kausalität). Messerli musste allerdings auch feststellen, dass seine Satire von einigen Kolleg:innen und Medien nicht als solche erkannt wurde. Sie zitierten sie als ernst gemeinte Studie. Dabei hat Messerlis Auswertung gleich mehrere – eigentlich offensichtliche – Fehlerquellen.
Was bei der Auswertung schief gehen kann
Der erste Fehler wird „ökologischer Fehlschluss“ genannt. Messerli verwendete Daten zum Schokoladenkonsum, die sich auf ein ganzes Land bezogen, und leitete daraus Schlüsse für Einzelpersonen ab. Ob die Nobelpreisträger:innen tatsächlich besonders viel Schokolade gegessen hatten, konnte Messerli mit diesen Daten gar nicht beurteilen. Auf diese Weise lassen sich viele lustige Zusammenhänge erzeugen, wie die Internetseite „Spurious Correlations“ zeigt, zum Beispiel einen nahezu perfekten Zusammenhang zwischen dem Pro-Kopf-Verbrauch an Margarine in den gesamten USA und der Scheidungsrate im US-Bundesstaat Maine.
Außerdem passten die Zeiträume der Datenerhebung nicht zusammen. Informationen zu den Nobelpreisen gab es für über 100 Jahre. Statistiken, wie viel Schokolade in einem Land gegessen wird, lagen für die meisten Länder erst aus den vergangenen zwei Jahren vor.
Natürlich ist es auch gar nicht zulässig, einfach Daten aus der Analyse herauszunehmen, die nicht ins Schema passen. Das kommt bei wissenschaftlichen Studien tatsächlich vor. Mit dem Ausschluss der schwedischen Daten legte Messerli einen Finger auch in diese Wunde.
Störfaktoren finden
Verzerrt wurde die Auswertung außerdem durch einen wichtigen Störfaktor: die wirtschaftliche Leistungsfähigkeit eines Landes. Klar: Wenn es vielen Menschen finanziell gut geht, können sie sich mehr Luxusprodukte wie Schokolade erlauben. Gleichzeitig kann ein Land mit starker Ökonomie mehr für Forschung ausgeben. Das befördert hochwertige Forschung und wissenschaftliche Publikationen. Das wiederum erhöht die Wahrscheinlichkeit, einen Nobelpreis zu bekommen.
Anders ausgedrückt: Hohe wirtschaftliche Leistungsfähigkeit und gute Forschungsförderung sind vermutlich die eigentliche Ursache für die Nobelpreise. Da eine florierende Wirtschaftslage aber auch mehr Schokoladenkonsum ermöglicht, entsteht dadurch ein vermeintlich ursächlicher Zusammenhang, der in Wirklichkeit gar nicht vorhanden ist.
Ursächliche Zusammenhänge nachweisen
Das Problem solcher Störfaktoren gibt es sehr häufig in der medizinischen Forschung, wenn Zusammenhänge in Beobachtungsstudien ausgewertet werden. Das betrifft zum Beispiel auch viele Studien in der Ernährungsforschung.
Aus gutem Grund gelten randomisierte kontrollierte Studien in der Forschung zu Arzneimitteln als Mittel der Wahl: Denn dabei werden die Teilnehmenden nach dem Zufallsprinzip auf die Vergleichsgruppen zugeteilt. Das verhindert einen systematischen Einfluss von Störfaktoren.
Quellen
Stand: 1. September 2022 – Gute Pillen – Schlechte Pillen 05/2022 / S.18