Kurzes Vorwort
Den folgenden Artikel habe ich mit der freundlichen Erlaubnis des Autors aus dem Englischen ins Deutsche übersetzt, weil ich finde, dass der Inhalt, abgesehen von seiner derzeitigen Relevanz, eine zeitlose Wichtigkeit transportiert. Da ich weiß, dass leider viele Menschen in meinem Umfeld zwar des Englischen mächtig sind aber wegen (Ausrede hier einsetzen) einen Artikel dieser Länge nicht lesen, habe ich mir die Mühe gemacht und diese Hürde nach bestem Wissen und Gewissen versucht zu beseitigen und den Kern des Artikels zu wahren. Ich lege dir, solltest du eine gewisse Sicherheit im Englischen haben, dennoch nahe den Text im Original zu lesen, weil es selbstverständlich vieles vom Witz und original Tonfall nicht herüber geschafft hat.
Vielen, vielen Dank allen Beteiligten an der Übersetzung.

And of course: thanks to Dedoimedo for his permission to translate his great article!

— snip —

Meine alltägliche Verachtung für das meiste irdische ist schon sehr hoch, doch das Jahr 2020 ließ diese exponentiell ansteigen. Diese Grundstimmung beiseite gelassen, brachte „Corona“ einen Ansturm von Populismus und Populismuswissenschaften zum Vorschein, die meine Statistik-Chakras vor Zorn zum erzittern brachten. Ich wusste ja schon immer, dass die Leute mit mathematischem Grundwissen zu kämpfen haben, aber Junge, Junge – dieses Jahr ist es ganz besonders auffällig.

Also dachte ich mir, die beste Art und Weise all diese Wut raus zu lassen, wird die sein, einen netten, kleinen Artikel zu schreiben, der einige der Grundlagen von Datenerfassung und -analyse, korrektem wissenschaftlichem Experimentieren und allem, was es mit sich bringt und das Zauberwort „Statistik“ erklärt, mit dem heutzutage wie mit einer Waffe von apokalyptischen Ausmaßen hantiert wird. Wie es scheint, treffen Leute Entscheidungen auf Grundlage von Statistiken, ohne dass sie die Zahlen selbst verstehen und ohne, dass diese Zahlen mit der notwendigen Sorgfalt aufgearbeitet wären oder einen tatsächlichen Nutzen hätten. Nun, dann will ich mal helfen. Hoffentlich. Bitte weiter lesen.

Ein statistischer Idiot oder statistisch ein Idiot?

Die Antwort lautet: ja. Die Wahrscheinlichkeit, dass du eine*r dieser beiden bist, ist sehr hoch. An sich ist das auch überhaupt nicht schlimm. Selbst unter Leuten höheren Bildungsgrades, darunter auch viele mit höhere wissenschaftlichen und ingenieurwissenschaftlichen Abschlüssen, ist ein sicherer Umgang oder gar Beherrschung von Statistik keine Selbstverständlichkeit. Vor Allem, weil Statistik meist nicht sehr intuitiv ist (z.B.: Satz von Bayes, Prävalenzfehler) und weil die Gleichungen kompliziert sind. Bitte eine*n „Ingenieur*in“ darum, eine Methode der kleinsten Quadrate zu erklären und dann zu entwickeln oder die Analyse einer Linearen Regression an einem Datenbestand durchzuführen und du wirst sehen, wie er/sie damit kämpft. Und dann sprechen wir hier nicht mal von Dingen wie Varianzanalyse. Nein, nein.

Kombiniere das mit menschlicher Faulheit und grundsätzlich nicht besonders hoher Intelligenz (der breiten Masse) und es bleibt kaum eine Möglichkeit, oder sagen wir lieber es bleibt eine nur sehr, sehr, SEHR geringe Wahrscheinlichkeit, dass es möglich ist, einem normalen Menschen zu helfen, tatsächlich Statistik oder auch nur die Grundlagen von Datenmanipulation (nicht die schlechte) zu verstehen. Das Problem besteht darin, dass Statistik zur Manipulation (im schlechten Sinne) von Daten genutzt wird. Hallo Politik!

Statistik der Angst

Die Dinge werden dann besonders knifflig, sobald „die Medien“ die Finger an Zahlen bekommen und diese zu einer gruseligen Geschichte aus Wenns und Vielleichts verweben, welche für normale Leute wie fatalistische, unheilvolle Voraussagen klingen. Du brauchst dafür nicht lange nach Beispielen zu suchen. Das derzeit umher gehende Schreckgespenst, bietet die perfekte Kulisse. Beispielsweise könnte ein Bericht sagen:

Ein*e gewöhnliche*r Mundatmer*in, der/die diesen Informationsfetzen liest, würde ihn wie folgt interpretieren:

Oder noch besser, weil die meisten Leute nicht wirklich wissen, was Wahrscheinlichkeit oder Prozent bedeuten:

Massenhysterie kurz und bündig. Willkommen 2020!

Den Sinn aus der Sensationslust suchen

Um die Emotionen auf einem erträglichen Niveau zu halten, werde ich ein scheinbar neutrales Thema besprechen. Die Logik dahinter ist aber so ziemlich auf jedes Szenario anwendbar. Nehmen wir Unfälle und Todesfälle. Untersuchen wir ein hypothetisches Szenario aus einem hypothetischen Land:

• Im Jahr X gab es 400 Verkehrstote.
• Im Jahr X+1 gab es 548 Verkehrstote.

Nun nehmen wir an, dass dies Fakten sind (Faktencheck!) – wenngleich das auch nicht als selbstverständlich angesehen werden sollte – das schauen wir uns gleich näher an.

Was jetzt passiert ist, dass sagen wir „die Medien“ davon berichten – die Information soll berichtenswert sein, also interessant, also schockierend, kontrovers, reizvoll für den kleinsten gemeinsamen Nenner von Intelligenz, Leidenschaft und Rechtschaffenheit. Folglich wandelt es sich in:

Die/der durchschnittliche Niedrig-IQ-Leser*in sieht das und denkt:

Die Politik ihrerseits sieht das auch und die denkt sich: lass keine Krise ungenutzt. Machiavelli – check – wir müssen etwas tun. Der berühmte blinde Aktionismus, der so brillant in „Yes, Prime Minister“, der besten politischen Satire (oder?) aller Zeiten, beschrieben wird.

Es geht nicht darum ein Ergebnis zu erzielen, es geht um Aktion.

Lassen wir ein Jahr vorüber gehen, überprüfen erneut die Zahlen und wir sehen ein neues Ergebnis. Ohne die Zahlen überhaupt angeschaut zu haben, ist das Ergebnis klar:

• Der Wert fällt, was den Bemühungen von [Lieblingspartei/ wasauchimmer] zu verdanken ist. Küsse, Umarmungen, Lobpreisungen, Wählerstimmen.
• Der Wert steigt, die Allgemeinheit hat nicht genug getan. Das liegt an [verhasste Partei/ wasauchimmer]. Verwarnungen, Zurechtweisungen, Rufe nach mehr Taten!

Selbstverständlich wird jede*r der/die bis 42 zählen kann und nicht vorher verwirrt aufhören muss, glauben, dass das völliger Blödsinn ist. Doch das ist erstaunlicherweise exakt die Art, wie schon bei den antiken Sumerern Politik gemacht wurde – den Kontext mehr oder weniger. Man hatte damals keine Autos, sondern nur autonom gefahrene Ochsen und Kamele.

Warum absolute Zahlen und Prozentangaben nichts heißen

Die Information, die ich im obigen Beispiel skizziert habe, ist zu 100% wertlos. Wo wir gerade von Prozentangaben und Anteilen sprechen: man beachte, wie wenn „die Medien“ von allerlei Entwicklungen sprechen, sie fast ausschließlich Prozentgrade von 0 bis 100 nutzen, jedoch Multiplikatoren für alles, was darüber hinaus geht (z.B.: x2, x5, x33), mal wieder weil Otto-Normalmensch denkt:

Folglich ist es um 30% wahrscheinlicher, dass du X bist aber 7x, nicht 700% wahrscheinlicher, dass du Y bist.

Ein weiterer Grund hierfür ist, dass wenn man 700% schreibt, die Leute denken, etwas sei 700 Mal mehr irgendwas.

Was also mit den Zahlen machen?

Die Zahlen MÜSSEN normalisiert werden, um einen Sinn zu ergeben. Das bedeutet, absolute Zahlen in Werte umzuwandeln, die einen vorgegebenen Bezug haben, so dass sie tatsächlich abgeglichen (und verglichen) werden können. Zuerst wäre ein Gefühl dafür zu entwickeln, ob 400 eine HOHE oder eine NIEDRIGE Zahl ist, offensichtlich. Wie groß ist die Bevölkerung, die tatsächlich von diesen Zahlen betroffen ist? 400 Verkehrstote in einer Bevölkerung von 1000 wäre tragisch, katastrophal. Diese 400 Toten in einer Milliarde wären individuell tragisch, jedoch bedeutungslos aus einem allgemeinen Blickwinkel betrachtet.

Weiterhin ist da die Sache der statistischen Wichtigkeit oder Bedeutung zu beachten. Aus einer rein mathematischen Perspektive betrachtet, sagt uns dieser Wert, ob etwas was wir messen, sich aus einer bewussten Änderung am System ergibt oder ob es Teil des „Hintergrundrauschens“ im System ist – ein Grad der Zufälligkeit, die im System existieren mag.

Um ein Beispiel zu nennen: nehmen wir an, du verschüttest eine Tüte Kaffeebohnen auf dem Boden. Die Bohnen fallen dergestalt, dass sie deinen Namen auf dem Boden bilden. Betrachtest du das nun aus der physikalischen Perspektive, gibt es keinen Grund, weshalb das nicht passieren kann. Es ist nur, dass die Wahrscheinlichkeit hierfür SEHR NIEDRIG ist. Wenn ich hier mal ein wenig Name-Dropping betreiben darf – aus physikalischer Perspektive ist die Verteilung der Bohnen „relativ“ leicht zu erklären, zieht man statistische Mechanik, die kanonische Gesamtheit oder Entropie zurate.

Wenn du nun die Bohnen einhundert Male verschüttest, stellst du womöglich fest, dass die Bohnen 1cm bis zu 10m von dir entfernt fallen können. Das wird dir etwas über die Verteilung von Bohnen sagen und dir ermöglichen, eine mathematische Formel zu entwickeln, welche dir wiederum ermöglicht eine Trennung der Ereignisse durchzuführen, die Teil der Beliebigkeit des Systems sind und jenen, die Ergebnisse absichtlicher Veränderungen sind. Vielleicht, ob das Aufstellen einer neuen Verkehrsregel tatsächlich eine aussagekräftige (statistisch bedeutsame) Auswirkung auf die Zahl der Verkehrstoten hat.

Wir wissen in unserem Beispiel nicht, welche Art Fehler wir an unsere jährlichen Daten anbringen können, um festzustellen, ob ein Anstieg oder Abfall in den folgenden Jahren augenscheinlich beliebigen Variablen zuzuschreiben ist, die nicht überprüft oder kontrolliert werden, nicht bedacht oder berücksichtigt sind, nicht leicht zählbar sind oder absichtlich eingeführten Änderungen zugrunde liegen.

Das bringt uns dazu, was ein echtes wissenschaftliches Experiment ausmacht und wie es durchgeführt werden muss, damit wenn man etwas behauptet (Hypothese), man auch einen nachvollziehbaren Weg hat, diese Behauptung zu belegen oder zu widerlegen. Aber dazu später mehr. Gehen wir nochmal zurück zu den Zahlen.

Die Zahlen müssen also einer Normalisierung unterzogen werden. Leichteste Möglichkeit: Anzahl Toter pro Tausend.

Das reicht aber nicht. Es müssen haufenweise Faktoren berücksichtigt werden. Hierzu zählen beispielsweise: das durchschnittliche Alter und durchschnittliche Fahrtstrecken von Fahrer*innen, Fahrzeugdichte pro Kilometer Straße, wie viel Sonnenschein, Nebel oder Schnee die Straße im Jahr ausgesetzt ist, die durchschnittliche Temperatur der Umgebung, die Art der Straßen, die Qualität und das Alter der Fahrzeuge auf der Straße, Strenge der Fahrprüfungen und Verkehrskontrollen und -überwachung, Geschwindigkeiten und weitere. Weiterhin gilt es Variationen dieser Faktoren zu beachten, ihre Wichtigkeit und Bedeutung in der Gleichung und die Interaktionen mit- und untereinander zu erfassen.

Das ergibt eine fast unendliche Anzahl von Möglichkeiten und Permutationen, welche nicht auf bedeutsame Art und Weise geprüft werden können. Insbesondere nicht im üblichen Zeitrahmen, den Menschen erwarten.

Hier muss ich einen weiteren wichtigen Begriff einbringen: „Statistical Engineering“.

Das ist mein allerliebstes Feld auf der ganzen Welt – zumindest wenn es um Zahlen geht – und es bietet einen universellen Weg, die wichtigen Faktoren in vielfaktorigen Konstellationen zu bestimmen, die komplexe Interaktionen beinhalten. Meine ganze berufliche Arbeit hindurch, habe ich es mit großer Freude genutzt, damit beeindruckende Ergebnisse erzielt und es in jedem Buch technischen Inhalts, was ich geschrieben habe, dargelegt. So selten aber das Wissen um Statistik schon ist, ist das Wissen um Statistical Engineering leider noch seltener (trauriges Gesicht macht).

Nochmal – zurück zu unseren Zahlen …

Nehmen wir an, wir entwickeln ein System, welches genau die 10+ wichtigsten Faktoren berücksichtigt, die mit Verkehrsunfällen und -toten zu tun haben und wir verstehen ebenfalls was eine bedeutende Veränderung ausmacht (sagen wir Stichprobenfehler, bekannte Verteilung, etc.), so können wir uns dann die Zahlen auf angemessene Art und Weise ansehen.

Aber … wir haben nicht über die Erhebung der Zahlen gesprochen und ob die „Rohdaten“, die wir haben, überhaupt valide sind.

Wir haben angenommen, dass 400 und 548 richtige und exakte Zahlen sind.

Das ist ein weiteres Problem, was über die Statistik hinaus geht. Es ist die Validität der Daten und daraus folgend, die Verlässlichkeit unseres „Experiments“, die Methode, mit der die Daten erhoben, gesammelt und an der ursprünglichen Hypothese geprüft wurden.

Wir wissen nicht, ob die zwei Werte 400 und 548 mit den selben Kriterien gemessen wurden. Was beispielsweise, macht einen Verkehrsunfall aus? Beinhaltet dieser Fußgänger und Radfahrer? Sind Landstraßen und Industrieunfälle auch dabei? Hat sich an den Kriterien zur Klassifizierung eines Unfalls als Verkehrsunfall im vergangenen Jahr etwas geändert?

Wenn die Antwort „ja“ lautet, etwas hat sich an der Messung, der Sammlung und Klassifizierung von Daten geändert, verliert das Experiment seine Gültigkeit. Daten, die aus UNTERSCHIEDLICHEN Experimenten stammen miteinander zu vergleichen ist unzulässig. Das macht insbesondere das Vergleichen von Verkehrsunfällen in unterschiedlichen Ländern oftmals zum Problem. Man kann keine Werte von Straßen aus der Mongolei mit Werten aus den Niederlanden vergleichen. Man kann nicht mal Spanien mit Finnland vergleichen, auch wenn beides entwickelte Länder der EU sind.

Dann wiederum könnte man annehmen, dass wenn man Studien über riesige, scheinbar beliebige Bevölkerungen durchführt (wie Staaten), sich die vielen Anomalien gegenseitig ausgleichen und zum Schluss glaubhafte Informationen übrig bleiben. Das kann richtig, kann aber auch falsch sein. Anhand unseres vorangegangenen Beispiels ist erkennbar, dass eine Zunahme im Jahr X+1 ein Resultat besserer Berichterstattung sein kann oder von zwei zusätzlichen Unfällen, die Busse beinhalteten oder aufgrund eines großen infrastrukturellen Projektes irgendwo im Land oder von einer Veränderung in der Straßenverkehrsordnung. Ohne diese Dinge zu berücksichtigen, wird der Versuch ein Problem zu „beheben“, zu willkürlichen Ergebnissen führen.

Richtiges wissenschaftliches Experimentieren

Willst du also über Zahlen sprechen, müssen diese Zahlen exakt sein, was zu aller erst bedeutet, dass du die Präzision und Strenge des wissenschaftlichen Experimentes einhalten musst. Das ist von größter Wichtigkeit.

• Beobachte ein Phänomen (meist heikel in Gesellschaften aber mit viel Mühe machbar) – die Beobachtungen müssen nach streng vorgegebenen Kriterien durchgeführt werden. Beispielsweise muss es exakte deterministische Vorgaben für jede Art von beobachtetem Ereignis geben. Einfach drauf los is nich.

• Schlage eine Erklärung für das Phänomen vor. Das ist der allererste Schritt. Wenn du ein Phänomen nicht verstehst oder nicht weißt, was dazu führt, ist es schwer es zu kontrollieren oder zu verändern.

• Definiere die Art und Weise, nach der du deine vorgeschlagene Erklärung überprüfen wirst; du wirst also etwas bestimmtes tun, was dazu führen wird, dass sich an dem Phänomen etwas verändert. Das wird letztlich dein Experiment und muss im Voraus gemacht werden.

• Definiere Erfolgskriterien für dein Experiment. Auch das musst du im Voraus tun, was bedeutet, dass du nicht beliebig Daten herumsammeln kannst, um dann zu versuchen, darin rückblickend eine Gemeinsamkeit oder Erklärung zu finden. Das ist verdammt wichtig, damit du nicht deiner eigenen Voreingenommenheit deine These zu bestätigen (Bestätigungsfehler), zum Opfer fällst. Nichts ist schlecht an einem Versuch, der dir negative Ergebnisse liefert oder mit anderen Worten deine ursprüngliche Hypothese als falsch entlarvt. Großartig. Du kannst dir jetzt einen anderen Vorschlag zur Erklärung des beobachteten Phänomens überlegen.

• Führe das Experiment durch, ohne etwas am restlichen Aufbau (System) des Experiments zu ändern. Wenn sich andere Bedingungen oder Variablen ändern, wird dein Experiment ungültig. Wenn du beispielsweise prüfen willst, ob die Einführung neuer Geschwindigkeitsbeschränkungen die Anzahl der Verkehrsunfälle irgendwie verändert, sollte das der einzige Parameter im System sein, der sich verändert. Wenn du plötzlich eine höhere Frequenz von Polizeistreifen und strengere Kontrollen einführst oder starken Verkehr (wie Lastenverkehr) auf separate Straßen umleitest, die von Pendlern nicht befahren werden, hast du etwas am System verändert und das Ergebnis wird nicht widerspiegeln, was du prüfen wolltest.

• Werte die gesammelten Daten unter Berücksichtigung der Erfolgskriterien aus. Das ist nicht einfach. Die Analyse muss folgende Punkte erfüllen: objektiv, unemotional und konsequent. Bekommst du Ergebnisse die deine Hypothese widerlegen, großartig. Akzeptiere es und mach weiter. Wenn du an dieser Stelle versucht bist, die Daten oder die Analysemethoden zu verändern, lass es. Du machst das Experiment damit ungültig. An dieser Stelle nochmal: darum MÜSSEN Methoden und Erfolgskriterien im Voraus definiert werden.

Datenanalyse …

Datenanalyse ist ein schwieriges Thema. Selbst wenn du alle Schritte des Experimentes richtig befolgt hast, kannst du immer noch unglaublich viele Fehler bei der tatsächlichen Analyse und Interpretation der Daten und Ergebnisse machen. Du kannst nicht beliebige Gleichungen anwenden, wenn du nicht weißt, wie deine Daten aussehen. Verteilungen sind wichtig. Ein großartiges Beispiel dafür wie wichtig es ist, die gesammelten Daten richtig zu verstehen ist Anscombes Quartett, auf welches ich übrigens in Kapitel Acht meines Problemlösungsbuches eingehe. Dieses Beispiel zeigt die Angelegenheit in sehr klarer und schlauer Weise. Simpsons Paradoxon ist ein weiteres Beispiel dafür, wie blindes Ansetzen von Gleichungen zu falschen Interpretationen der Ergebnisse führt.

Du könntest versucht sein, manche Daten zu ignorieren oder als unwichtig auszusortieren, was aber nur geht, wenn die Mathematik dies zulässt. Es gibt sehr strenge Regeln für Ausreißer und Extremwerte in unterschiedlichen Verteilungen von Datensätzen, wo es keinerlei Spielraum für Emotionen jedweder Art gibt. Hier könnte sich die Voreingenommenheit die eigene These bestätigen zu wollen einschleichen und die logische Herangehensweise behindern.

Die wissenschaftliche Gemeinschaft ist sich sehr über die Tatsache im Klaren, dass wir Menschen logischen Trugschlüssen zum Opfer fallen können. Deshalb gibt es zusätzliche Schutzmaßnahmen, wie Blindstudien, Peer-Review (Kreuzgutachten), eine Kombination beider und anderes. Erst recht, wenn es einen extremen öffentlichen Druck hin zu einem bestimmten Ergebnis gibt, kann es unglaublich schwierig sein, wissenschaftliche Experimente in reiner, perfekter Isolation durchzuführen.

Dramatisieren wir ein wenig

Da dieser Artikel zu fachlich, zu langweilig und nicht kontrovers genug ist, möchte ich ein beliebtes aktuelles Thema ansprechen: vom Menschen verursachter Klimawandel (formerly known as „globale Erwärmung“). Einer der Gründe, aber nicht der einzige, warum das so ein kontroverses Feld ist, ist die Komplexität des Systems und wie das „Experiment“ durchgeführt wird.

Im Prinzip haben wir direkte Messungen aus etwa 150 Jahren (etwas weniger) und indirekten Rechenergebnissen, die Millionen von Jahren zurück gehen. Die Daten aus der jüngeren Vergangenheit beruhen auf Beobachtungen, die in der Folge genutzt werden können, um eine Erklärung vorzuschlagen: der Einfluss des Menschen auf das Klima. So weit, wo gut. Die zwei Dinge, die jedoch in dieser Gleichung fehlen, sind die Erfolgskriterien und die Möglichkeit das Experiment fortzuführen, ohne das System zu verändern.

Weiterhin ist die Welt ein dynamischer Ort. Unser Dasein und unser Lebenswandel auf dem Planeten ändert sich andauernd, was auch unsere Auswirkungen auf die Umwelt mit einbezieht. So haben Regierungen schon Maßnahmen eingeführt, um die Auswirkungen auf die Umwelt (wie Kohlendioxidausstoß) zu reduzieren. Das ist jedoch genau das, was unser Versuchsaufbau (im experimentellen Sinn) bräuchte. Nämlich dass er unverändert bleibt, um feststellen zu können, ob unsere Hypothese korrekt ist.

Idealerweise würden wir das Experiment einfach eine zeitlang laufen lassen, doch hier gibt es (wieder) zwei Probleme. Einmal kennen wir die Systemlatenz nicht, also wie lange es dauert, bis unser System reagiert. Bei einem System wie es das Klima eines Planeten ist, sprechen wir von Jahrzehnten, wenn nicht Jahrhunderten oder mehr. In menschlichen Maßstäben sind das sehr lange Zeiträume und die gehen weit über das Interesse oder die Geduld jeder politischen Partei oder Bewegung hinaus; es stellt ein herausforderndes Anliegen für jene Menschen dar, die von den (negativen) Veränderungen des Klimas eines Tages betroffen sein könnten – sofern die angenommene Hypothese richtig ist. Zweitens ist es, aufgrund der verbundenen Risiken, von geringem bis keinem Interesse, dieses Experiment einfach unüberprüft laufen zu lassen, was wiederum die Wissenschaftlichkeit untergräbt, weil es Abschluss und Schlussfolgerung unterstellt, ohne alle Punkte durchlaufen haben, die nötig wären um die Hypothese zu bestätigen.

Da das Erfolgskriterium nicht bestimmt ist (das System ist einfach zu komplex), könnte man (vielleicht ein gerissener Politiker), falls das Ergebnis von einem vorhergesagten Szenario abweicht, immer sagen, „wir haben nicht genug getan“. Stimmen andererseits die Ergebnisse mit dem vorausgesagten Szenario überein, oder fallen gar „besser“ als geschätzt aus, kann man hingegen behaupten, dass die „ungünstigen Auswirkungen auf das Ökosystem unseres Planeten durch gewissenhaftes Handeln hinausgezögert“ wurden – unabhängig vom zugrunde liegenden Mechanismus. Auch wenn das im Allgemeinen etwas gutes sein mag, untergräbt das die Wissenschaftlichkeit des Vorganges und schränkt auch unser Verständnis des Systems ein, was in diesem Fall auch den Einbezug aller unberücksichtigten Faktoren einbeziehen würde – wie, sagen wir Milankovitch-Zyklen, um nur einen zu nennen. Simulationen mit Modellen großen Maßstabs sind hier eine Hilfe und wir können Supercomputer nutzen, um Jahrtausende von Daten zu berechnen, aber wir haben dann immer noch kein präzises Modell.

Schließlich ist es auch sehr schwierig, Messungen 150 Jahre lang präzise, genau und unbeeinflusst von der Umgebung aufzubewahren. Beispielsweise wegen Bodenversiegelungen oder weil die Messmethoden und die Erfassung der Daten sich irgendwie verändert haben, so dass ein altes Experiment ungültig wird. Die Kombination aus politischem Milieu, der laxen Art des Versuchsaufbaus und der Verlässlichkeit der Daten erschaffen eine Umwelt [sic], werfen den Schatten von Zweifel über die Reinheit der Wissenschaft.

Dann wäre da noch die ganze sozioökonomische Dimension aber das ist nicht unser Thema.

Statistical Engineering

Manchmal hast du vielleicht nicht mal ausreichend Daten, um das System genug zu verstehen, um ein Experiment vorzuschlagen – entweder, weil das System zu komplex ist oder du dich noch nicht lange genug mit dem System beschäftigt hast. Nicht schlimm. Beispielsweise könntest du wissen wollen, welche Komponente (Hardware oder Software) in einem Data-Center Server-Gerät der Hauptleistungsträger für deine Programme ist (oder sein wird).

In einem solchen Fall, sähe ein klassisches Experiment etwa so aus:

• Zu prüfende Komponenten: Typ und Größe des physikalischen Speichers, Art der Festplatte(n), Art der CPU und Betriebssystem.
• Zu prüfende Ebenen: das einfachste Experiment bestünde daraus, zwei Ebenen für jede Komponente auszuwählen, sie als hoch und niedrig zu klassifizieren – was hohe oder niedrige Leistung bedeuten würde – lineare Interaktion zwischen den beiden Ebenen anzunehmen und dann das Experiment zu starten, indem du jede mögliche Kombination ausprobierst.

Wenn wir von nur vier Komponenten und Zwei Ebenen ausgehen, sind also 16 Kombinationen zu prüfen (2⁴). Solltest du, sagen wir sieben Komponenten und vier Ebenen haben, wird das klassische Experiment undurchführbar (4⁷), weil niemand hunderte oder tausende Experimente auf praktische Art durchführen kann und weil es auch gut sein könnte, dass es unmöglich wird, die Interaktionen ordentlich zu analysieren.

Hier kommt „Scientific Engineering“ ins Spiel.
Im Scientific Engineering geht es vor allem mehr ums Y –> X als ums X –> Y, welches das klassische Experiment darstellt. Scientific Engineering konzentriert sich auf die Analyse von Abweichungen – das Herausfinden der bedeutendsten Größe zu einem System, selbst wenn du das System und alle darin statt findenden Interaktionen noch nicht ganz verstanden haben solltest. Das vereinfacht den Aufbau dergestalt, dass du nur noch mitschreiben musst, während die Komponenten x Ebenen durchlaufen.

• Um zurück zum Server-Beispiel zu gehen, wählst du eine Komponente aus, sagen wir Art der Festplatten und lässt den Rest UNVERÄNDERT.
• Jetzt führst du dein Experiment für jede vorgegebene Ebene durch – sagen wir zwei (HDD und SSD). Du prüfst die Performanz deiner Programme.
• Du wiederholst das mit den anderen Komponenten. Eine nach der anderen, während der Rest unverändert bleibt.
• Wonach du suchst, sind die Abweichungen zwischen den Ergebnissen. Die Komponente, die am meisten beiträgt, ist der Hauptfaktor.

Mit diesem Experiment wirst du die Komponente ausmachen, die den wichtigsten Teil zu deinem System beiträgt. Das kann jetzt als anfängliche Beobachtung betrachtet werden und von hier an kannst du nun die Komplexität deines Experiments zu einer kleinen, überprüfbaren Anzahl von Variablen reduzieren. Beispielsweise könnte ein Statistical-Engineering-Experiment ergeben, dass die CPU die wichtigste Komponente darstellt. Wenn du nun die Performanz deiner Programme erhöhen möchtest, richtest du darauf deine Bemühungen. Du schlägst ein Experiment vor … und weißt, wie es weiter geht.

Mal wieder … zurück zu unseren Zahlen

Was wir bisher wissen:

• Wir wissen, dass Zahlen allein keine Bedeutung haben – sie müssen normalisiert werden.
• Wir wissen, dass wir die Messmethoden beachten müssen, sonst könnten wir Mangos und Pflaumen vergleichen.
• Wir wissen, dass wenn wir die Zahlen verändern wollen (die Zahl der Verkehrstoten senken), wir das System verstehen müssen.

Das bedeutet, kleine, vereinzelte Änderungen durchzuführen, um die Auswirkung auf das Ergebnis als Ganzes zu verstehen – und das heißt, nur jeweils einen Parameter zu verändern. Ja, das ist nicht leicht, wenn die Zahlen hohe gesellschaftliche Relevanz oder gar Einfluss auf politische Beliebtheit haben und deshalb damit beschmutzt sind. Aber es ist die KORREKTE Vorgehensweise, weil es uns ermöglicht zu verstehen, was tatsächlich die Todesfälle in unserem erdachten Szenario verursacht.

Im Wesentlichen bedeutet das auf Staatsniveau, die Einführung experimenteller Enklaven, in denen eine der vielen Parameter verändert wird, während der Rest so bleibt wie bisher. Geschwindigkeit, Fahrzeugdichte, Straßenqualität, Straßenbeleuchtung, jahreszeitliche Muster, etc. Nur dann können wir sinnvolle Aktionen vorschlagen – und diese natürlich testen – völlig gewahr der damit verbundenen Risiken.

Jedoch – unmöglich wenn Wissenschaft und Politik sich vermischen.

Niemand möchte gerne Politiker*in sein, die/der des „spielens mit“ oder „vernachlässigen von Menschenleben“ beschuldigt wird. Niemand möchte das mögliche Todesopfer eines „Experiments“ sein. Wenn ich „niemand“ sage, meine ich damit die Leute, die in Panik ausbrechen, wenn sie 37% in den Zeitungen lesen. Es ist ein sich selbst befeuernder, selbstzerstörerischer Kreislauf. Weil echte Wissenschaft zu langweilig und zu kompliziert ist, sind 99% der Informationen für die Öffentlichkeit über-gehypter Blödsinn, welcher dann als Propagandawerkzeug dient, um Aktion (und Publicity) unter Politiker*innen zu generieren. Dann wiederum, verstärkt durch die Medien, und hier kommt das Paradoxon, genutzt als Rachewerkzeug gegen die Politiker wenn es schlecht läuft oder nicht so wie angenommen (meist, wenn keine echte Wissenschaft im Spiel ist).

Wenn übrigens die Dinge schief laufen, beschuldigen die Leute die „Wissenschaft“ dafür falsch gelegen zu haben und nicht die Politiker oder die Medien, dass sie all überall Bullshit verbreiten haben, was zu großem Misstrauen gegenüber wissenschaftlichen Ergebnissen führt. Noch ein selbstbefeuernder, selbstzerstörerischer Kreislauf. Da es geradezu unmöglich ist, reine Wissenschaft und Politik voneinander zu trennen, beschmutzt das die Wissenschaft, was das System verändert, was wiederum dazu führt, dass das GESAMTE Experiment ungültig wird. In diesem Fall wäre das Experiment die Gültigkeit von Wissenschaft selbst, als Werkzeug zum Fortschritt der Menschheit.

Daher wird „die Wissenschaft“ auch oft als gruseliges Nebelhorn genutzt und die einzige wirklich praktizierte Methode ist „lieber auf Nummer sicher gehen“, was zu willkürlichen Entscheidungen und bedeutungslosen Änderungen in der Gesellschaft mit gewaltigen, langanhaltenden Konsequenzen führt. Willkommen 2020.

Deswegen, um zum Straßenverkehr zurück zu kehren, haben viele Länder Geschwindigkeitsbeschränkungen, die nicht unbedingt die Wirklichkeit des Verkehrs widerspiegeln. Es ist jedoch eine leicht zu beobachtende, leicht zählbare, leicht erklärbare und leicht zu veröffentlichende Änderung, auch wenn die Ergebnisse das nicht unterstützen mögen.

Und deswegen misstrauen Leute, die tatsächlich mit Zahlen umgehen KÖNNEN, oft den medial gehypeten Werten und Statistiken, weil sie keine sauberen Ergebnisse aus korrekt überwachten wissenschaftlichen Experimenten (im weiteren Sinne) darstellen, sondern leicht zu verdauende, populistische Häppchen, die der gewöhnlichen Bevölkerung Angst einflößt – sehr oft mit politischer Tendenz oder sogar direkter finanzieller Beteiligung von Interessengruppen.

Konsens

Menschen sind Herdentiere. Wir schaffen andauernd Herden und wir erhoffen uns von den Mitgliedern unserer Herden und Stämme Bestätigung für unsere Entscheidungen. Manche Herden können sehr klein sein, wie die Familie, während andere riesig sein können, wie sagen wie die Fangemeinde eines Pop-Stars oder Sportvereins. Unser Herdentrieb ist jedoch das komplette Gegenteil dessen, was Wissenschaft ausmacht.

Weder ist Wissenschaft ein sinnloser Diskurs unter Akademikern, noch ist sie eine Demokratie. Tausend Falschaussagen ergeben nicht einen korrekten Konsens. Führst du einen Versuch durch und erhältst ein Ergebnis und es kommt jemand anderes beim selben Versuch zum selben Ergebnis, großartig! Ihr könntet beide Unrecht haben! Oder Recht! Hast du mehrere, voneinander unabhängige Experimente, die die selbe gemeinsame Theorie bestätigen, minimiert das normalerweise die Wahrscheinlichkeit, dass deine Idee falsch war aber…

Die meisten Experimente sind nicht unabhängig und Ideen sind meist gefärbt von „intellektueller Osmose“, da Leute mit ähnlichen Interessen ähnliche Gedanken und Daten teilen und ihre Vorannahmen, zum besseren oder schlechteren gegenseitig verstärken. Durch die Geschichte hinweg hat es unzählige Beispiele dafür gegeben, dass es Einigung auf einen „Konsens“ gab, der sich als grundfalsch herausstellen sollte. Um nur ein paar beliebige Beispiele zu nennen, wurde lange Zeit geglaubt, Geschwüre würden (hauptsächlich) durch Stress verursacht, was sich als falsch herausstellte. Dann wären da die beschissenen Eugenik-Theorien, die in der ersten Hälfte des 20. Jahrhunderts so populär waren.

Andererseits ist die Forschung auf dem Gebiet des photoelektrischen Effektes ein großartiges Gegenbeispiel. Albert Einstein gewann hierfür den Nobelpreis und nicht, wie die meisten Leute denken, für seine Arbeit an der allgemeinen oder speziellen Relativitätstheorie. Aber ich schweife ab. Wichtig hier ist, dass Einstein seine Hypothese 1905 aufstellte und es dauerte eine ganze Weile (mehrere Jahre), bevor seine Voraussagen empirisch als richtig bewiesen werden konnten – trotz ziemlich signifikanten Widerstands. Konsens hat die Wirklichkeit nicht verändert. Die Quantenphysik interessiert sich nicht für menschliche Gedanken.

Menschen fällt es sehr schwer sich vom angeborenen Bedürfnis nach Zugehörigkeit zu trennen – doch die Wissenschaft erfordert einen isolierten, unabhängigen Zugang zum Experiment. Das ist selbst unter den besten Voraussetzungen nicht leicht zu erreichen, ganz zu schweigen davon, wenn es einen immensen wissenschaftsfernen Druck hin zu bestimmten Ergebnissen gibt.

Wissenschaft als Religion

Seit tausenden von Jahren spielt Religion kultur- und gebietsübergreifend eine riesige Rolle im Leben der Menschen. Der gewaltige Fortschritt der Wissenschaft in den letzten etwa 200 Jahren hat die klassische Anhaftung an Religion in manchen Teilen der Welt angefressen, doch das hat nichts an der menschlichen Psyche geändert, was dazu führt, dass einfach das Konzept von Religion durch Wissenschaft ausgetauscht wird, ohne einen konzeptionellen Wandel im Denken durchzuführen.

Einige der Phänomene beinhalten:

• Wissenschaft wird absolut – richtig oder falsch (wenn doch die Aussage eigentlich lauten sollte: ich brauche mehr Informationen).
• Wissenschaft wird als magisches Zepter geschwungen und du hast es unweigerlich zu akzeptieren. Skepsis ist keine erlaubte Reaktion.
• Wissenschaftler werden als Priester behandelt und ihr Wort ist heilig (oder ketzerisch, je nach dem).
• Annahme oder Ablehnung jedweder „wissenschaftlicher“ Idee, erweckt eine dogmatische, emotionale Reaktion.
• Gewöhnliche Leute erwarten von den Wissenschaften das Wirken von Wundern; vermag sie das nicht, ignorieren sie es entweder oder lehnen es als Irrglauben ab. Lehnen sie sie von vornherein ab, verstärkt das Ergebnis diese Ablehnung. Wenn Leute von Experimenten erwarten, das „Nichtexistierende zu widerlegen“, werden die Dinge noch schlimmer.

Unglücklicherweise gilt das sowohl für jene Leute, die die meisten wissenschaftlichen Theorien ablehnen, als auch für jene, die sie annehmen. Anstatt die Wissenschaften als komplexes Feld mit einer unendlichen Folge von Experimenten zu betrachten (die sich übrigens meistens als falsch herausstellen), wird die Wissenschaft zu nichts als einer binären Wahl reduziert: ja oder nein, dafür oder dagegen.

Solltest du finden, dass ich ein Effekthascher bin, such dir einfach irgendein populäres Thema heraus – inklusive dem 2020-Favoriten „Corona“ – tausche die Wörter der Themen durch klassische Wörter aus Religion aus und du wirst feststellen, dass Wissenschaft keine Rolle in der Gleichung spielt.

Malen wir es uns doch mal tatsächlich aus. Ich füge unten mal einen editierten Schnipsel aus einem Thema aus Wikipeda ein, welches von einigen eben erwähnten Ideen handelt. Bitte beachte aber, dass es sich nur um einen Artikel handelt, nichts offizielles und jede*r kann seine/ihre Gedanken und Meinungen beisteuern. Das ist auch gut so. In vielen Fällen jedoch und für normale Leute, könnte das eine Quelle für Informationen sein, auf die sie zurückgreifen (wenn überhaupt). Also:

Zuerst wäre da das Aufführen „unberechtigten Zweifels, der widerspricht“. Die Motivation hinter Wissenschaft ist Zweifel bzw. Skepsis, was wiederum aus Neugier rührt. Stellt man die bestehenden Konventionen und Theorien nicht in Frage, entstehen keine neuen Ideen und es kann keinen Fortschritt geben. Zweifeln ist keine schlechte Eigenschaft. Es ist ein sich selbst überprüfender Mechanismus, der uns in jeder Situation dabei hilft, unsere Überlebschancen zu erhöhen.

Zweitens der Teil über Aktivismus, in dem gesagt wird, dass du nicht nur keine Meinung haben darfst, die dem Konsens widerspricht, du sollst die Akzeptanz gar in die Tat umsetzen. Im Grunde also Gruppenrituale. Ignorieren wir für einen Moment, dass die meisten Menschen nicht die Möglichkeiten haben, das eigentliche wissenschaftliche Problem zu verstehen, um richtig zu entscheiden, was sie tun „sollten“. Aber hey – wenn du nicht dafür bist, bist du eben dagegen! Einen Mittelweg gibts nicht.

Um die Angelegenheit weiter einzuzementieren, zeigt der Artikel drittens noch ein Kuchendiagramm, welches „Prozentanteile“ aus mehreren Studien zeigen, die X bestätigen sollen. Nochmal, Wissenschaft ist nicht irgendeine Lagerfeuerdiskussion und Konsens ist Irrelevant. Alles was zählt ist, ob die Daten genau sind und die Ergebnisse der Analysen sich mit den im Raum stehenden Erklärungen deckt, die auf den Methoden des Experimentes beruhen, auf die sich geeinigt wurde. Alles weitere ist gefühlsduseliger Unsinn.

Was sollte ein*e gewöhnliche*r Nicht-Experte /Expertin hier tun?

„TL;DR“? Dann lieber ganz, ganz ruhig sein.

Aus irgendeinem Grund jedoch, finden die meisten Leute, dass sie sich in Dinge einmischen sollten, auch wenn sie nur ein eingeschränktes Verständnis davon haben, was da vor sich geht. Wenn es auch noch um Wissenschaft geht, werden die Dinge besonders knifflig. Ich habe viel Zeit damit verbracht mir eine einfache Formel dafür auszudenken, die es ermöglichen würde zu beurteilen, ob sie dazu qualifiziert sind, an Diskussionen zu wissenschaftlichen Themen, besonders Statistik, teilzunehmen.

Ich könnte falsch liegen, doch ich glaube, ich habe sie gefunden. Das mag zwar seltsam oder auch extrem arrogant klingen aber lass mich aussprechen. Die Antwort lautet: partielle Differentialgleichungen. Solltest du nicht wissen, wozu diese da sind oder was sie machen, wirst du wahrscheinlich auch nicht sonderlich gut darin sein Zahlen zu analysieren, und/oder du wirst falsche Schlüsse aus deiner Interpretation von Daten ziehen.

Im Umkehrschluss ist aber Wissen über PDG nicht = gute Zahlenverarbeitungs-Skills! Bei weitem nicht!

Was dir das oben stehende aber sagt ist, dass wenn du keine Ahnung hast, wovon ich gerade gesprochen habe, solltest du wann immer Zahlen besprochen werden, wann immer Statistiken bemüht werden, wann immer du herausfinden musst, ob die Zahlen etwas „sagen“, was du meinst zu wissen, lass es einfach. So verlockend es auch ist, dich in deine sozialen Medien einzuloggen und Schwachsinn zu reden, einfach lassen.

Schließlich noch ein paar praktische Tipps

Ich sollte ein paar Dinge, die ich hier geschrieben habe, zusammenfassen, damit ich dir etwas praktisches und greifbares auf den Weg geben kann:

• Statistiken sind oft nicht intuitiv.
• Du benötigst ein starkes mathematisches Fundament, um Statistiken gut zu verstehen.
• Statistiken, die in öffentlichen Medien veröffentlicht werden, sind meistens nutzlos, da sie nicht den nötigen Kontext mitliefern.
• Sie sind gemacht, um Leserschaft anzusammeln, nicht um wissenschaftliche Neugier zu wecken.
• Prozentangaben sind oft nutzlos.
• Absolute Zahlen sind oft nutzlos.
• Zahlen müssen an einem gut definierten Referenzwert normalisiert werden.
• Zahlen sind sinnlos, wenn man das System nicht versteht.
• Zahlen können nicht über mehrere unterschiedliche Systeme hinweg verglichen werden.
• Für ein korrektes wissenschaftliches Experiment müssen Hypothese, Methodik, Werkzeug und erwartete Ergebnisse im Voraus definiert werden.
• Wenn man das System ändert während das Experiment läuft, ist das Experiment ungültig.
• Statistical Engineering ist ein hervorragendes Hilfsmittel zum Verständnis komplexer Systeme.
• Politik und Wissenschaften gehen nicht gut zusammen – vermeiden.

Am Ende ist dieser Artikel nutzlos…

Das größte Problem mit allem, was ich geschrieben habe ist, dass es Null Veränderung auf der Welt bewirken wird. Null. Jene, die mir zustimmen, werden selbstgefällig nicken. Die wenigen, die Zahlen verstehen und das Gefühl haben, es passiert gerade eine Aushöhlung von Integrität von Daten und Berichterstattung, werden vielleicht etwas Trost darin finden, dass sie nicht ganz alleine und abgeschieden mit ihren Gedanken sind. Und die, die sich gar nicht für Daten, Wissenschaften oder Statistik interessieren werden diesen Artikel niemals sehen oder lesen, da sie besseres zu tun haben, wie zum Beispiel ihren Status updaten oder sich von den Nachrichten verängstigen lassen.

Mir ist die Vergeblichkeit meiner Bemühung hier völlig klar. Echter Wandel kann nur Ergebnis solider, wissenschaftlich orientierter Bildung über Generationen sein. Nicht zwei oder drei oder fünf Jahre, sondern Generationen. Jahrzehnte. Viel länger als die typische Amtszeit einer/eines jeden Politiker*in. Darum wird unsere (menschliche) Zukunft nicht leichter oder logischer werden. Je wichtiger die Wissenschaft in unserem Alltag wird, je vorherrschender (und auch schwieriger zu verdauen und zu analysieren) Zahlen und Daten in unserem Leben werden, umso größer wird die Spannung zwischen Wissenschaft und Politik werden.

Als Einzelne/r ist das einzige was wir wirklich im Griff haben, uns selbst und das Verständnis unserer Umwelt und das bedeutet auch, Statistiken zu verstehen, wenn sie uns vorgehalten werden. Und es bedeutet Zweifel. Nicht Misstrauen – Zweifel. Zahlen und Werte nicht wörtlich zu nehmen, sondern sicher zu gehen, dass wir das System und das Experiment, welches diese Werte ausspuckt, verstehen. Sonst verlieren wir die Kontrolle. Und wenn du dann erkennst, wie dumm der übliche Mundatmer ist und was daraus gefolgert wird, willst du von dieser Statistik ganz bestimmt nicht Teil sein, oder?

P.S. Die Bilder von Niccolo Machiavelli und den Schafen sind als Public Domain verfügbar.

Cheers.