11  Schätzen vs. Testen

Schlüsselwörter

Statistik, Bayes, Wahrscheinlichkeit, Inferenz, R, Kausalität

11.1 Lernsteuerung

Nach Absolvieren des jeweiligen Kapitels sollen folgende Lernziele erreicht sein.

Sie können…

• den Unterschied zwischen dem Schätzen von Modellparametern und dem Testen von Hypothesen erläutern
• Vor- und Nachteile des Schätzens und Testens diskutieren
• Das ROPE-Konzept erläutern und anwenden
• Die Güte von Regressionsmodellen einschätzen und berechnen

Der Stoff dieses Kapitels orientiert sich an (Kruschke, 2018).

Lesen Sie zur Vorbereitung folgende Literatur:

• Statistik1, Kap. “Geradenmodelle 2”¹

In diesem Kapitel werden folgende R-Pakete benötigt:

library(rstanarm)   # Bayes-Modelle
library(tidyverse)
library(easystats)
library(palmerpenguins)  # Datensatz "penguins"

Wir benötigen den Datensatz palmerpenguins.

Abbildung 11.1: Possierlich: Die Pinguine (Horst, 2024)

Übungsaufgabe 11.1 (Machen Sie sich mit den Pinguinen vertraut) Machen Sie sich zunächst mit dem Pinguin-Datensatz vertraut. Sie finden den Datensatz penguins im R-Paket palmerpenguins, das Sie auf gewohnte Art installieren können. Im Internet findet man den Datensatz auch als CSV-Datei; s. unten. Importieren Sie den Datensatz und verschaffen Sie sich einen Überblick über die Verteilungen jeder Variablen des Datensatzes.

Sie können den Datensatz penguins entweder über den Pfad importieren:

penguins_url <- "https://vincentarelbundock.github.io/Rdatasets/csv/palmerpenguins/penguins.csv"

penguins <- read.csv(penguins_url)

Oder über das zugehörige R-Paket:

data("penguins", package = "palmerpenguins")

Beide Möglichkeiten des Datenimports sind okay. \(\square\)

Hinweis

Die Folien zu diesem Kapitel finden Sie hier.

11.2 Einstieg

Betrachten Sie die zwei folgenden Aussagen, die jeweils ein Forschungsziel angeben:

1. “Lernen für die Klausur bringt etwas!”
2. “Wie viel bringt Lernen für die Klausur?”

Beispiel 11.1 Diskutieren Sie die epistemologische Ausrichtung sowie mögliches Für und Wider der beiden Ausrichtungen! Einmal Behauptung, einmal Frage – was macht das für einen Unterschied? \(\square\)

11.3 Was ist Testen? Was ist Schätzen?

Forschungsfragen kann man, allgemein gesprochen, auf zwei Arten beantworten:

1. Hypothesen testen: “Die Daten widerlegen die Hypothese (nicht)”
2. Parameter schätzen: “Der Effekt von X auf Y liegt zwischen A und B”.

11.3.1 Hypothesen testen

Hypothesen testende Analysen kommen zu einer Ja-Nein-Entscheidung bzgl. einer Hypothese. Genauer muss man sagen: Im besten Fall kommen sie zu einer Ja-Nein-Aussage. Es kann natürlich sein, dass die Datenlage so nebelig oder das Problem so knifflig ist, dass man ehrlicherweise zugeben muss, dass man sich nicht sicher ist oder sogar komplett im Dunkeln tappt.

Beispiel 11.2 (“Lernen erhöht den Prüfungserfolg!”) Die Hypothese Lernen erhöht den Prüfungserfolg kann durch eine Studie und eine entsprechende Analyse grundsätzlich folgende drei Ergebnisse finden. 1) Die Daten widersprechen der Hypothese: Lernen bringt offenbar doch nichts für den Klausurerfolg. 2) Die Daten unterstützen die Hypothese: Lernen erhöht den Prüfungserfolg. 3) Die Daten sind uneindeutig, es ist keine Aussage zum Einfluss von Lernen auf den Prüfungserfolg möglich. \(\square\)

Das Testen einer Hypothese kann zu drei Arten von Ergebnissen führen. Die ersten beiden sind informationsreich, die dritte ist informationsarm.

1. 🟥 Die Daten widersprechen der Hypothese: Auf Basis der Daten (und des Modells) muss man die Hypothese ablehnen (verwerfen, sagt man), also als falsch (falsifiziert) betrachten oder zumindest hat die Glaubwürdigkeit der Hypothese gelitten.

2. 🟢 Die Daten unterstützen die Hypothese: Auf Basis der Daten (und des Modells) muss man die Hypothese annehmen (oder kann die Gegenthese zumindest nicht verwerfen). Oder zumindest hat die Hypothese an Glaubwürdigkeit gewonnen.

3. ❓ Die Datenlage ist unklar; zum Teil unterstützen die Daten die Hypothese, zum Teil widersprechen sie ihr. Man kann keine oder kaum Schlüsse aus den Daten ziehen. In diesem Fall gibt es keinen (nennenswerten) Erkenntnisgewinn.

Hypothesen prüfen ist binär in dem Sinne, dass sie zu “Schwarz-Weiß-Ergebnissen” führen (sofern die Datenlage stark genug ist).

Wichtig

Eine gängige Variante des Hypothesentestens² ist das Testen der Hypothese “Es liegt kein (null) Effekt vor” (Null Effekt). Man geht also davon aus, dass es keinen Zusammenhang zwischen UV und AV gibt und spricht vom Nullhypothesen testen, \(H_0\). \(\square\)

11.3.2 Beispiele für Nullhypothesen

• “Lernen bringt nichts”
• “Frauen und Männer parken gleich schnell ein”
• “Es gibt keinen Zusammenhang von Babies und Störchen”
• “Früher war es auch nicht besser (sondern gleich gut)”
• “Bei Frauen ist der Anteil, derer, die Statistik mögen gleich hoch wie bei Männern” (Null Unterschied zwischen den Geschlechtern) \(\square\)

Vorteil des Hypothesen testen ist das klare, einfache Ergebnis – die Hypothese ist abgelehnt, angenommen, oder die Datenlage ist unklar. Das unterstützt die Entscheidungsfindung, da es die Komplexität reduziert.

HinweisMan kann Hypothesen nicht bestätigen

Karl Poppers These, dass man Hypothesen nicht bestätigen (verifizieren) kann, hatte großen Einfluss auf die Wissenschaftstheorie (und Epistemologie allgemein) ausgeübt (Popper, 2013). Schlagend ist das Beispiel zur Hypothese \(H\) “Alle Schwäne sind weiß”. Auch eine große Stichprobe an weißen Schwänen kann die Wahrheit der Hypothese nicht beweisen. Schließlich ist es möglich, dass wir den schwarzen Schwan einfach noch nicht gefunden haben. ³ Umgekehrt reicht die (zuverlässige) Beobachtung eines einzelnen schwarzen Schwans, um die Hypothese \(H\) zu widerlegen (falsifizieren). \(\square\)

HinweisWirklich nicht?

In der Wissenschaftspraxis werden die meisten Hypothesen probabilistisch untersucht. Komplett sichere Belege, wie in Poppers Beispiel mit dem schwarzen Schwan, gibt es nicht. Das bedeutet, dass Evidenz im bestätigenden wie im widerlegenden Sinne tendenziell (d.h. probabilistisch) zu betrachten ist. Auf dieser Basis und der Basis zuverlässiger, repräsentativer Daten erscheint plausibel, dass Hypothesen sowohl bestätigt als auch widerlegt werden können (Kruschke, 2018; Morey & Rouder, 2011). \(\square\)

11.3.3 Parameter schätzen

Beim Schätzen von Parametern untersucht man, wie groß ein Effekt ist, etwa der Zusammenhang zwischen X und Y. Es geht also um eine Skalierung, um ein wieviel und nicht um ein “ja/nein”, was beim Hypothesen testen der Fall ist.

Beim Parameter schätzen gibt es zwei Varianten:

1. Punktschätzung: Das Schätzen eines einzelnen Parameterwerts, sozusagen ein “Best Guess”

2. Bereichsschätzung: Das Schätzen eines Bereichs plausibler oder wahrscheinlicher Parameterwerte

Allerdings kann man das Parameter schätzen auch wie einen Hypothesentest nutzen: Ist ein bestimmter Wert, etwa die Null, nicht im Schätzbereich enthalten, so kann man die Hypothese verwerfen, dass der Parameter gleich diesem Wert (etwa Null) ist. Das Hypothesen testen ist daher (implizit) im Parameter schätzen enthalten.

Beispiel 11.3 Wie groß ist der Schätzbereich für den Effekt des Parameters “Geschlecht” auf das mittlere Gewicht von Pinguinen? Hat die UV Geschlecht einen großen Einfluss auf das mittlere Gewicht dieser Tiere? Anders gefragt: Um welchen Wert sind männliche Tiere im Schnitt schwerer als weibliche Tiere? Tabelle 11.1 gibt uns die Antwort.

data(penguins, package = "palmerpenguins")
penguins_nona <-
  penguins |> drop_na(sex, body_mass_g)  # keine fehlenden Werte

m_penguins_sex <- 
  stan_glm(body_mass_g ~ sex, data = penguins_nona)

Tabelle 11.1: Parameterschätzung des Modells m_penguins; der Gewichtsunterschied zwischen den Mittelwerten der Geschlechter beträgt etwa 700 g.

Parameter	Median	95% CI	pd	Rhat	ESS (tail)	Prior
(Intercept)	3863.18	(3754.31, 3971.56)	100%	1.000	2735	Normal (4207.06 +- 2013.04)
sexmale	681.11	(528.74, 843.76)	100%	1.000	2642	Normal (0.00 +- 4020.19)

Grob gesagt sind männliche Tiere ca. 500 g bis 800 g schwerer als weibliche Tiere im Schnitt (95%-ETI), laut unserem Modell; der Punktschätzer liegt bei einem Gewichtsunterschied von ca. 681 g. \(\square\)

Beispiel 11.4 (Parameterschätzen als Nullhypothesentest)  

Forschungsfrage: Sind männliche Pinguine im Schnitt schwerer als weibliche Tiere?

Gleichung 11.1 formalisiert diese Forschungsfrage als statistische Hypothese \(H\).

\[H: \mu_M \ge \mu_F \rightarrow d = \mu_M - \mu_F \ge 0 \tag{11.1}\]

Beim Testen einer Nullhypothese prüft man, ob ein gleich Null ist.

Theorem 11.1 (Nullhypothesentest) \[H: \mu_M \ge \mu_F \leftrightarrow d = \mu_M - \mu_F \ge 0\quad \square\]

Der Unterschied zwischen zwei Mittelwerten, \(d\), ist genau dann Null, wenn \(\beta_1 = 0\) in unserem Regressionsmodell m1, s. Theorem 11.1. Entsprechend gilt \(d \ne 0\) wenn \(\beta_1 \ne 0\).

Um die Forschungsfrage zu beantworten, zählen wir wie gewohnt den Anteil der Stichproben in der Post-Verteilung für die UV sexmale, die einen Wert größer Null aufweisen:

m_penguins_sex_post <-
  m_penguins_sex |> 
  as_tibble()

m_penguins_sex_post |> 
  count(sexmale > 0)

100% (4000 von 4000) Stichproben finden einen Wert größer Null für sexmale; das heißt, weibliche Tiere sind leichter bzw. männliche Tiere schwerer (im Durchschnitt). Entsprechend finden 0% der Stichproben einen Wert, der für das Gegenteil spricht (das weibliche Tiere schwerer wären). Damit resümieren wir, dass unser Modell 100% Wahrscheinlichkeit für die Hypothese einräumt: \(p_H = 1\). Achtung: Die 100%-ige Sicherheit für die Hypothese stammt aus der kleinen Welt, nicht unbedingt aus der großen Welt.

Einfacher zeigt uns parameters(m_penguins_sex), wie groß die Wahrscheinlichkeit für \(\beta_1 > 0\) ist, nämlich anhand des Koeffizienten pd, s. Tabelle 11.1.

Aber das Auslesen der Post-Verteilung erlaubt uns auch, andere Hypothesen zu prüfen, etwa die Wahrscheinlichkeit der Hypothese, dass der Gewichtsunterschied zwischen den Geschlechtern mehr als 500 g beträgt.

Vorteil der Parameterschätzung (gegenüber dem Testen von Hypothesen) ist die Nuanciertheit des Ergebnisses, die der Komplexität echter Systeme besser Rechnung trägt.

Übungsaufgabe 11.2 (Interpretation beim Hypothesen testen) Ein Forschungsteam untersucht die Hypothese, dass hohe Bildschirmzeit mit verringerter Intelligenz bei Kindern einhergeht. Dazu vergleichen Sie Kinder, die sehr viel Zeit am Tag am Bildschirm verbringen, mit Kindern, die sehr wenig Zeit am Tag am Bildschirm verbringen (und die im übrigen vergleichbar sind). Sie finden in ihrer Studie einen Effekt von \(95\% KI[-4;-2]\) IQ-Punkten, zuungunsten der Kinder mit hoher Bildschirmzeit.

Welche Aussage dazu ist korrekt bzw. passt am besten?

1. Die \(H_0\) ist als sicher falsch zu verwerfen.
2. Die \(H_0\) ist als sicher richtig anzunehmen.
3. Die \(H_0\) ist mit 95% Wahrscheinlichkeit richtig.
4. Die \(H_0\) ist mit 95% Wahrscheinlichkeit falsch.
5. Die Datenlage ist unklar, es ist keine Entscheidung möglich. \(\square\)

11.4 ROPE: Bereich von “praktisch Null”

📺 Teil 2

Nullhypothesen sind fast immer falsch, s. Abbildung 11.2.

Abbildung 11.2: Du testest EXAKTE Nullhypothesen?

Quelle: Imgflip Meme Generator⁴

We do not generally use null hypothesis significance testing in our own work. In the fields in which we work, we do not generally think null hypotheses can be true: in social science and public health, just about every treatment one might consider will have some effect, and no comparison or regression coefficient of interest will be exactly zero. We do not find it particularly helpful to formulate and test null hypotheses that we know ahead of time cannot be true. (Gelman et al., 2021)

11.4.1 Alternativen zu Nullhypothesen

Nullhypothesen, \(H_0\), sind z.B.: \(\rho=0\), \(\rho_1 = \rho_2\), \(\mu_1 = \mu_2\), \(\mu=0\), \(\beta_1=0\). Nullhypothesen zu testen, ist sehr verbreitet. Ein Grund ist, dass in der Frequentistischen Statistik keine andere Art von Hypothesentest (einfach) möglich ist.⁵ Ein anderer Grund ist vermutlich, … wir haben es schon immer so gemacht. 🤷♀️ Alternativen zum Testen von Nullhypothesen sind:

• Posteriori-Intervalle (ETI oder HDI) berichten
• Rope-Konzept (Kruschke, 2018)
• Wahrscheinlichkeit von inhaltlich bedeutsamen Hypothesen quantifizieren (z.B. dass \(\beta_1 > 0.42\))
• Wahrscheinlichkeit quantifizieren, dass der Effekt ein positives bzw. ein negatives Vorzeichen hat (probability of direction, pd)

11.4.2 “Praktisch kein Unterschied”: Das Rope-Konzept

📺 ROPE-Video

Beispiel 11.5 (Beispiele für ROPE)  

• Sagen wir, wenn sich zwei Preismittelwerte um höchstens \(d=100\)€ unterscheiden, gilt dieser Unterschied für einen Marketingmanager als “praktisch gleich”, “praktisch kein Unterschied”, “nicht substanziell”, “unbedeutend” bzw. “vernachlässigbar gering”

• Bei Pinguinarten definiert eine Biologin nach umfangreichem Studium der Literatur, dass ein Unterschied von max. 100 g Körpergewicht “vernachlässigbar wenig” ist.

• Eine findige Geschäftsfrau entscheidet für ihre Firma, dass ein Umsatzunterschied von 100k Euro “praktisch irrelevant” sei. \(\square\)

Definition 11.1 (ROPE) ROPE (Region of Practical Equivalence) ist ein Bereich um den Nullwert, der als praktisch äquivalent zu Null angesehen wird. \(\square\)

Wie legt man den Grenzwert \(d\) fest, bis zu dem ein Unterschied (Differenz) gerade noch bzw. gerade nicht mehr unbedeutend ist? Die Wahl von \(d\) ist subjektiv in dem Sinne als sie von inhaltlichen Überlegungen geleitet sein sollte. Diesen Bereich bezeichnen wir den Indifferenzbereich (Äquivalenzzone, Bereich eines vernachlässigbaren Unterschieds oder Region of practical equivalence, Rope).

Jetzt prüfen wir, ob ein “Großteil” der Posteriori-Stichproben im Rope liegt. Unter “Großteil” wird häufig das 95%-HDI verstanden (das ist auch der Standard der R-Funktion rope(), die wir hier nutzen).

Entscheidungsregel nach Kruschke (2018):

• Großteil der Post-Verteilung liegt innerhalb von Rope \(\rightarrow\) Annahme der ROPE-Nullhypothese “praktisch kein Effekt”, \(H_0\)
• Großteil der Post-Verteilung liegt außerhalb von Rope \(\rightarrow\) Ablehnung der ROPE-Nullhypothese “praktisch kein Effekt”, \(H_0\)
• Ansonsten \(\rightarrow\) keine Entscheidung – die Datenlage ist uneindeutig

Mit “Großteil” meinen wir (per Default) das 95%-KI (der Posteriori-Verteilung).

11.4.3 Vernachlässigbarer Regressionseffekt

Kruschke (2018) schlägt vor, einen Regressionskoeffizienten unter folgenden Umständen als “praktisch Null” zu bezeichnen:

Wenn eine Veränderung über “praktisch den ganzen Wertebereich” von \(X\) (UV) nur einen vernachlässigbaren Effekt auf \(Y\) (AV) hat. Ein vernachlässigbarer Effekt ist dabei \(\hat{y}= \pm 0.1 sd_y\). Das impliziert Rope-Grenzen von \(\beta_x = \pm 0.1\) für z-standardisierte UV und AV. Einfach gesprochen: Eine vernünftige Voreinstellung für die Rope-Grenzen bei Regressionskoeffizienten sind \(\pm 10 \%\) der SD der AV.

HinweisROPE-Defaults

Im der Voreinstellung umfasst die Größe des ROPE ±10% der SD der AV. \(\square\)

11.4.4 HDI-Rope-Entscheidungsregel visualisiert

Abbildung 11.3: Die Entscheidungsregeln zum ROPE illustriert (Kruschke, 2018); A: Verwerfen der ROPE-Hypothese; B und C: Akzeptieren; D-F: Unklare Datenlage, keine Entscheidung zur ROPE-Hypothese

Abbildung 11.3 illustriert die Entscheidungsregel zum ROPE für die drei Situationen Verwerfen der ROPE-Hypothese, Beibehalten und unklare Datenlage (Kruschke, 2018, Abb. 1, S. 272).

11.4.5 Rope berechnen

Hier ist das Modell, das Gewicht als Funktion der Pinguinart erklärt (m_penguins_species).

m_penguins_species <- stan_glm(body_mass_g ~ species, 
                  data = penguins, 
                  refresh = 0,  # unterdrückt Ausgabe der Posteriori-Stichproben
                  seed = 42  # zur Reproduzierbarkeit
                  )

Den Rope berechnet man mit rope(model), s. Tabelle 11.2.

Tabelle 11.2: Der Rope-Bereich für die Stufen der UV (Arten von Pinguinen)

Die Faktorstufe Chinstrap der UV species hat doch einen beträchtlichen Teil ihrer Wahrscheinlichkeitsmasse der Posteriori-Verteilung im ROPE. Wir können daher für diese Gruppe das ROPE nicht verwerfen. Die Datenlage ist unklar. Es ist keine abschließende Entscheidung über die Hypothese möglich.

Aber: Gentoo liegt zu 0% im Rope. Für die Gruppe Gentoo können wir die ROPE-Hypothese verwerfen. Der Effekt von Gentoo ist größer als vernachlässigbar. Anders gesagt: Tiere der Art Gentoo sind im Schnitt substanziell schwerer als Tiere der Referenzgruppe (Adelie). Der ROPE-Grenzwert wurde hier per Voreinstellung auf 80 g Unterschied festgelegt (10% der SD der AV).

Hinweis

Die angegebenen Prozentwerte beziehen sich nicht auf die 100% der Post-Verteilung, sondern (in der Voreinstellung) auf das 95%-ETI. Dabei werden 10% der Streuung der AV als Intervallgrenzen des ROPE angenommen, s. help(rope).

Das hört sich abstrakt an? Dann lassen Sie uns das lieber visualisieren. 🎨

11.4.6 Visualisierung unserer Rope-Werte, m_penguins_species

Ein Großteil der Posteriori-Masse von m_penguins_species liegt nicht innerhalb des Rope. Aber können wir umgekehrt sagen, dass ein Großteil außerhalb liegt? Das erkennt man optisch ganz gut, s. Abbildung 11.4.

(a) Diagramm mit rope(m_penguins_species) |> plot()

(b) Diagramm mit parameters(m_penguins_species) |> plot()

Abbildung 11.4: Rope und HDI überlappen bei Chinstrap, aber nicht bei Gentoo. Im ersten Fall nehmen wir die Rope-Null-Hypothese an, im zweiten Fall verwerfen wir sie.

Das ROPE durchkreuzt die “Berge” der Posteriori-Verteilung für Chinstrap deutlich. Aber: Das 95%-HDI liegt nicht komplett innerhalb des Rope. Wir können das Nullhypothese für Chinstrap nicht verwerfen, aber auch nicht bestätigen – eine unklare Datenlage.

Gentoo hingegen wird vom Rope nicht durchkreuzt, es ist weit entfernt vom “blauen vertikalen Band” des Rope: Gentoo liegt außerhalb des Rope. Es gibt einen “substanziellen” Unterschied zwischen dem Mittelwert der AV in Gruppe Gentoo und in der Referenzgruppe Adelie.

Wir verwerfen die ROPE-Hypothese, die “Praktisch-Null-Hypothese”, in diesem Fall.

11.4.7 Finetuning des Rope

Wir können festlegen, was wir unter “praktischer Äquivalenz” verstehen, also die Grenzen des Ropes verändern. Sagen wir, 200 Gramm sind unsere Grenze für einen vernachlässigbaren Effekt, s. Abbildung 11.5.

plot(rope(m_penguins_species, range = c(-200, 200))) + 
  scale_fill_okabeito()  # schönes Farbschema

Abbildung 11.5: ROPE mit selber eingestellter Grenze von ±200 (Gramm)

In der Voreinstellung werden 95%-ETI berichtet, das kann man wie folgt ändern, wenn man möchte: rope(m_penguins_species, range = c(-500,500), ci = .89, ci_method = "HDI"). Die ROPE-Grenzen sind in Tabelle 11.3 zu sehen.

Tabelle 11.3: ROPE-Grenzen für das Modell m_penguins_species mit ROPE-Grenzen von 500 g.

Parameter	CI	ROPE_low	ROPE_high	ROPE_Percentage	Component
(Intercept)	0.89	-500	500	0	conditional
speciesChinstrap	0.89	-500	500	1	conditional
speciesGentoo	0.89	-500	500	0	conditional

Jetzt wird berichtet, welcher Teil eines 89%-CI⁶ sich im Rope befindet.

Übungsaufgabe 11.3 (Peer-Instruction: Interpretation des ROPE-Anteils) In einer Hochschule wird der Effekt eines “Robo-Professors” auf die Lernleistung der Studierenden untersucht, im Fach Statistik. Der “Robo-Professor” ist ein Computerprogramm auf Basis künstlicher Intelligenz, das den Studierenden den Stoff vermittelt. Dazu wird eine Gruppe von Studierenden von einem menschlichen Dozenten unterrichtet, die andere Gruppe von einem “Robo-Professor”. Nach dem Kurs wird die Lernleistung der Studierenden in einer Prüfung gemessen. Das Regressionsmodell m_robo liefert einen Rope-Anteil von 10% für den Koeffizienten robo_professor. Welche Aussage dazu ist korrekt?

1. Der Robo-Professor hat einen Einfluss von 10% auf die Lernleistung der Studierenden.
2. Der Einfluss des Robo-Professors auf die Lernleistung der Studierenden ist substanziell.
3. Es gibt keinen Einfluss des Robo-Professors auf die Lernleistung der Studierenden.
4. Es ist nicht auszuschließen, dass der Robo-Professor keinen substanziellen Einfluss auf die Lernleistung der Studierenden hat.
5. Der Einfluss des Robo-Professors auf die Lernleistung der Studierenden ist vernachlässigbar. \(\square\)

11.4.8 Beantwortung der Forschungsfrage

Für die Spezies Gentoo wurde ein substanzieller Gewichtsunterschied zur Referenzgruppe, Adelie, vom Modell entdeckt. Für Chinstrap hingegen ist keine klare inferenzstatistische Aussage hinsichtlich eines Indifferenzbereichs möglich: Es ist plausibel, laut dem Modell, dass es einen praktisch bedeutsamen Unterschied gibt, aber es ist auch plausibel, dass es keinen praktisch bedeutsamen Unterschied gibt.

11.5 Modellgüte

11.5.1 Wozu Modellgüte?

Hat man ein Modell aufgestellt und geprüft und Ergebnisse erhalten, möchte man wissen, wie belastbar diese Ergebnisse sind. Eine Abschätzung zur Belastbarkeit der Modellergebnisse liefern Kennwerte der Modellgüte. Diese Kennwerte zielen z.B. darauf ab, wie präzise die Aussagen des Modells sind. Je präziser die Aussagen eines Modells, desto nützlicher ist es natürlich. Bei einer Parameterschätzung erhält man auch Informationen zur Präzision der Schätzung: Ist der Schätzbereich schmal, so ist die Schätzung präzise (und vice versa). Allerdings könnte ein Modell aus mehreren Parameterschätzungen bestehen, die unterschiedlich präzise sind. Da kann es helfen, eine zusammenfassende Beurteilung zur Präzision, oder allgemeiner zur Güte des Modells, zu erhalten. Im Folgenden wird eine von mehreren gebräuchlichen und sinnvollen Kennzahlen vorgestellt, \(R^2\).

11.5.2 Modellgüte mit \(R^2\) bestimmen

\(R^2\) gibt den Anteil der Gesamtvarianz (der AV) an, den das Modell erklärt. - Höhere Werte von \(R^2\) bedeuten, dass das Modell die Daten besser erklärt. \(R^2\) wird normalerweise auf Basis eines Punktschätzers definiert. Solch eine Definition lässt aber viel Information – über die Ungewissheit der Schätzung – außen vor. Daher ist es wünschenswert, diese Information in \(R^2\) einfließen zu lassen: Bayes-R-Quadrat.

Die Post-Verteilung von \(R^2\) kann man sich wie folgt ausgeben lassen, s. Abbildung 11.6.

m_penguins_species_r2 <-
  m_penguins_species |> 
  r2_posterior() |> 
  as_tibble()

hdi(m_penguins_species_r2) |>  # Intervallgrenzen der Post-Verteilung von R2
  plot()  # visualisieren

Abbildung 11.6: Die Verteilung von R-Quadrat im Modell m_penguins_species

\(R^2\) und \(\sigma\) sind negativ assoziiert: In einem Datensatz mit hohem \(R^2\) ist \(\sigma\) gering und umgekehrt. Beide Koeffizienten berechnen sich auf Basis von \(\sigma\) und haben den gleichen Zweck: die Abschätzung der Güte eines Modells. Im Unterschied zum Frequentistischen R-Quadrat erhält man in der Bayes-Statistik nicht nur einen Punktschätzer für \(R^2\), sondern wie auch sonst eine Post-Verteilung, so dass man z.B. einen Schätzbereich angeben kann.

Schneller bekommt man den Punkt- und den Intervallschätzer für \(R^2\) mit r2(m_penguins_species).

## # Bayesian R2 with Compatibility Interval
## 
##   Conditional R2: 0.667 (95% CI [0.620, 0.711])

11.6 Fazit

Obwohl das Testen von Hypothesen im Moment verbreiteter ist, spricht einiges zugunsten der Vorzüge der Parameterschätzung. Möchte man aber, um sich bestimmter bestehender Forschung anzunähern, einen Hypothesentest, speziell den Test einer Nullhypothese verwenden, so bietet sich das ROPE-Verfahren an.

Übungsaufgabe 11.4 (Zeit für einen Rückblick: Welche Fragen haben Sie im Moment?) Mittlerweile haben wir einen Großteil des Stoffs absolviert. Welche Punkte sind Ihnen offen geblieben? Wo haben Sie noch Fragen?

Die Lehrkraft stellt Ihnen eine (anonyme) Plattform für Ihre Fragen bereit, so dass Sie in Ruhe Ihre offenen Fragen und diejenigen Ihrer Kommilitoninnen und Kommilitonen überdenken können. \(\square\)

11.7 Aufgaben

1. Wskt-Schluckspecht
2. wskt-mtcars-1l
3. rope-regr
4. rope1
5. rope2
6. rope3
7. rope2a
8. penguins-rope

11.7.1 Quiz-Aufgaben

Hier finden Sie Single-Choice-Aufgaben zu diesem Kapitel. Wählen Sie eine Antwort aus und klicken Sie auf das Häkchen, um sie zu überprüfen; über das Fragezeichen erhalten Sie die ausführliche Lösung.

Welche Aussage beschreibt den zentralen Unterschied zwischen dem Testen von Hypothesen und dem Schätzen von Parametern korrekt?

Hypothesentests zielen auf eine (im besten Fall) binäre Ja-Nein-Entscheidung ab (“Die Daten widersprechen der Hypothese oder nicht”); das Schätzen von Parametern liefert stattdessen eine nuanciertere Aussage über die Größe eines Effekts (z.B. einen Schätzbereich).Hypothesentests und Parameterschätzungen liefern immer exakt dieselbe Information, nur in unterschiedlicher Darstellung.Ein Hypothesentest kann niemals implizit im Schätzen eines Parameters enthalten sein.Beim Schätzen von Parametern erhält man ausschließlich eine Ja-Nein-Antwort, beim Testen von Hypothesen hingegen einen Wertebereich.Parameter schätzen ist nur in der frequentistischen Statistik möglich, Hypothesen testen nur in der Bayes-Statistik.

Hypothesentests führen (im Idealfall) zu einem klaren Ja/Nein bezüglich einer Hypothese, während das Schätzen eines Parameters eine differenziertere Frage nach dem “Wie viel” beantwortet, z.B. in Form eines Punkt- oder Bereichsschätzers. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ist falsch: Ein binäres Testergebnis und ein Schätzbereich enthalten unterschiedlich viel Information – ein Schätzbereich ist informationsreicher, da er auch die Größe und Präzision eines Effekts zeigt, nicht nur dessen Richtung oder Vorhandensein.

• Die dritte Option vertauscht die beiden Konzepte genau umgekehrt zur richtigen Zuordnung.

• Die vierte Option ist falsch: Beide Herangehensweisen (Testen und Schätzen) lassen sich sowohl in der frequentistischen als auch in der Bayes-Statistik umsetzen – das Kapitel zeigt Parameterschätzung explizit im Bayes-Kontext, und auch ROPE-basiertes Testen ist ein Bayes’sches Verfahren.

• Die fünfte Option widerspricht dem Kapitel direkt: “Ist ein bestimmter Wert, etwa die Null, nicht im Schätzbereich enthalten, so kann man die Hypothese verwerfen […]. Das Hypothesen testen ist daher (implizit) im Parameter schätzen enthalten.”

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Das Kapitel greift Karl Poppers Beispiel der Hypothese “Alle Schwäne sind weiß” auf. Welche Aussage zu diesem Beispiel und seiner Bedeutung für das Testen von Hypothesen ist korrekt?

Laut Popper sind Bestätigung und Widerlegung einer Hypothese logisch gleich einfach zu erreichen.Auch eine sehr große Stichprobe weißer Schwäne kann die Hypothese “Alle Schwäne sind weiß” nicht beweisen (verifizieren); die zuverlässige Beobachtung eines einzigen schwarzen Schwans reicht hingegen aus, um sie zu widerlegen (falsifizieren) – Bestätigung und Widerlegung sind also nicht symmetrisch.Popper zeigt, dass man mit ausreichend vielen weißen Schwänen die Hypothese sicher beweisen kann.Das Kapitel schließt aus Poppers Beispiel, dass in der Wissenschaftspraxis überhaupt keine Evidenz für oder gegen Hypothesen gesammelt werden kann.Poppers Beispiel zeigt, dass Hypothesentests in der Bayes-Statistik grundsätzlich unmöglich sind.

Poppers Kernpunkt ist die Asymmetrie zwischen Bestätigung und Widerlegung: Beliebig viele bestätigende Beobachtungen (weiße Schwäne) beweisen eine All-Aussage nicht endgültig, weil immer noch eine Gegen-Beobachtung (ein schwarzer Schwan) auftauchen könnte – eine einzige zuverlässige Gegen-Beobachtung genügt hingegen, um die Hypothese zu widerlegen. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option widerspricht Poppers zentraler These direkt: Beliebig viele bestätigende Fälle reichen gerade nicht aus, um eine All-Aussage sicher zu beweisen – das ist ja genau der Witz des Beispiels.

• Die dritte Option ignoriert die im Kapitel betonte Asymmetrie: Widerlegen (durch einen Gegenfall) ist logisch einfacher/sicherer als Bestätigen (durch beliebig viele positive Fälle).

• Die vierte Option überzieht die Schlussfolgerung: Das Kapitel merkt im Gegenteil an, dass in der Wissenschaftspraxis Hypothesen probabilistisch untersucht werden und Evidenz sowohl im bestätigenden als auch im widerlegenden Sinne tendenziell (nicht absolut) zu betrachten ist – Evidenz sammeln ist also sehr wohl möglich und sinnvoll.

• Die fünfte Option ist eine unzulässige Übertragung: Poppers philosophisches Argument betrifft die Logik von All-Aussagen ganz allgemein, nicht speziell die Möglichkeit von Hypothesentests im Bayes’schen Rahmen (wie z.B. das im Kapitel behandelte ROPE-Verfahren).

• Falsch

• Wahr

• Falsch

• Falsch

• Falsch

Nach der Entscheidungsregel für das ROPE-Verfahren (Kruschke (2018)) gibt es drei mögliche Ergebnisse, je nachdem wie sich die Post-Verteilung eines Effekts zum ROPE-Bereich (Region of Practical Equivalence) verhält. Welche Zuordnung ist korrekt?

Liegt der Großteil der Post-Verteilung außerhalb des ROPE, wird die Praktisch-Null-Hypothese angenommen.Liegt auch nur ein einziger Wert der Post-Verteilung im ROPE, wird die Praktisch-Null-Hypothese immer sofort verworfen.Liegt der Großteil (z.B. 95%) der Post-Verteilung innerhalb des ROPE, wird die “Praktisch-Null-Hypothese” angenommen; liegt der Großteil außerhalb, wird sie verworfen; überlappen sich Post-Verteilung und ROPE nur teilweise, ist keine Entscheidung möglich.Die ROPE-Entscheidungsregel bezieht sich immer auf 100% der Post-Verteilung, niemals auf ein Teilintervall wie das 95%-HDI.Das ROPE-Verfahren liefert grundsätzlich immer eine eindeutige Ja-Nein-Entscheidung, eine unklare Datenlage ist beim ROPE-Verfahren nicht vorgesehen.

Die Entscheidungsregel lautet: Liegt der Großteil (per Voreinstellung: das 95%-HDI) der Post-Verteilung innerhalb des ROPE, wird die Praktisch-Null-Hypothese angenommen; liegt der Großteil außerhalb, wird sie verworfen; liegt weder das eine noch das andere eindeutig vor, ist die Datenlage uneindeutig und es erfolgt keine Entscheidung. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option überzeichnet die Regel: Nicht schon ein einzelner Wert im ROPE führt zur Ablehnung – entscheidend ist, wie groß der Anteil der (relevanten) Post-Verteilung innerhalb bzw. außerhalb des ROPE liegt.

• Die dritte Option widerspricht dem Kapitel direkt: Die dritte Kategorie “unklare Datenlage, keine Entscheidung” ist explizit Teil der Entscheidungsregel (wie am Beispiel Chinstrap im Kapitel gezeigt).

• Die vierte Option vertauscht die Zuordnung genau umgekehrt: Liegt der Großteil außerhalb des ROPE, wird die Praktisch-Null-Hypothese verworfen, nicht angenommen.

• Die fünfte Option widerspricht der im Kapitel beschriebenen Voreinstellung: Per Default bezieht sich die Regel auf das 95%-HDI der Post-Verteilung (bzw. lässt sich auch auf andere Anteile wie ein 89%-CI einstellen), nicht zwingend auf 100% der Post-Verteilung.

• Falsch

• Falsch

• Wahr

• Falsch

• Falsch

Die Standardabweichung der AV (Körpergewicht) in einem Pinguin-Datensatz betrage \(sd_y = 800\) g. Nach der im Kapitel beschriebenen Voreinstellung für Regressionskoeffizienten umfasst das ROPE \(\pm 10\%\) der SD der AV. Wie groß ist die ROPE-Grenze für einen Regressionskoeffizienten in diesem Fall?

\(\pm 0{,}01 \cdot 800 = \pm 8\) g\(800 + 10 = 810\) g\(\pm 0{,}10 \cdot 800 = \pm 80\) g\(\pm 800\) g\(\pm 0{,}50 \cdot 800 = \pm 400\) g

Laut Voreinstellung umfasst das ROPE für Regressionskoeffizienten \(\pm 10\%\) der Streuung (SD) der AV: \(\pm 0{,}10\cdot 800 = \pm 80\) g. Ein geschätzter Regressionskoeffizient, dessen Post-Verteilung größtenteils innerhalb von \([-80, 80]\) g liegt, würde demnach als “praktisch Null” gelten.

Warum die Distraktoren falsch sind:

• Die zweite Option verwendet die gesamte SD der AV als ROPE-Grenze, statt nur 10% davon – das würde den ROPE-Bereich um den Faktor 10 zu groß werden lassen.

• Die dritte Option verwendet fälschlich 1% statt der vorgegebenen 10% der SD.

• Die vierte Option verwendet fälschlich 50% statt 10% der SD.

• Die fünfte Option addiert die Prozentzahl (10) fälschlich direkt zur SD, statt die SD mit dem Anteil (10% \(=0{,}10\)) zu multiplizieren – das ergibt eine völlig andere (und dimensional unsinnige) Rechnung.

• Falsch

• Falsch

• Wahr

• Falsch

• Falsch

Im Modell m_penguins_species (Referenzgruppe: Adelie) liegt ein beträchtlicher Teil der Post-Verteilung für Chinstrap innerhalb des ROPE, während Gentoo zu 0% im ROPE liegt. Welche Schlussfolgerung zieht das Kapitel daraus?

Für Gentoo wird die Praktisch-Null-Hypothese verworfen (substanzieller Gewichtsunterschied zur Referenzgruppe); für Chinstrap ist die Datenlage hingegen uneindeutig – weder Annahme noch Ablehnung der Praktisch-Null-Hypothese ist gerechtfertigt.Für Gentoo ist die Datenlage uneindeutig, für Chinstrap wird ein substanzieller Unterschied festgestellt.Beide Ergebnisse (Chinstrap und Gentoo) erlauben dieselbe eindeutige Schlussfolgerung: kein substanzieller Unterschied zur Referenzgruppe.Für beide Arten, Chinstrap und Gentoo, wird die Praktisch-Null-Hypothese in gleicher Weise verworfen.Da Chinstrap teilweise im ROPE liegt, bedeutet das automatisch, dass es überhaupt keinen Unterschied zwischen Chinstrap und der Referenzgruppe gibt.

Das Kapitel resümiert: Bei Gentoo liegt die Post-Verteilung zu 0% im ROPE – die Praktisch-Null-Hypothese wird verworfen, es gibt also einen substanziellen Gewichtsunterschied zur Referenzgruppe Adelie. Bei Chinstrap überlappen sich Post-Verteilung und ROPE nur teilweise – weder eindeutige Annahme noch Ablehnung ist möglich, die Datenlage bleibt uneindeutig. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ignoriert den zentralen Unterschied zwischen beiden Gruppen: Gentoo erlaubt eine klare Entscheidung (Ablehnung), Chinstrap hingegen nicht.

• Die dritte Option vertauscht die beiden Ergebnisse genau umgekehrt zur richtigen Zuordnung im Kapitel.

• Die vierte Option überinterpretiert eine teilweise Überlappung als vollständige Bestätigung eines Null-Effekts – das Kapitel betont gerade, dass eine teilweise Überlappung zu keiner Entscheidung führt, weder für noch gegen einen substanziellen Effekt.

• Die fünfte Option ignoriert, dass beide Ergebnisse laut Kapitel gerade unterschiedlich ausfallen – nur für Gentoo, nicht für Chinstrap, lässt sich ein klarer Schluss ziehen.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

An einer Hochschule wird der Effekt eines “Robo-Professors” (KI-gestützte Lehre) auf die Lernleistung im Fach Statistik untersucht. Das Regressionsmodell m_robo liefert für den Koeffizienten robo_professor einen ROPE-Anteil von 10% (d.h. 10% der relevanten Post-Verteilung liegen innerhalb des ROPE, 90% außerhalb). Welche Aussage dazu ist korrekt?

Ein ROPE-Anteil von 10% bedeutet automatisch, dass der Effekt vernachlässigbar (praktisch Null) ist.Der Einfluss des Robo-Professors ist eindeutig als substanziell zu bezeichnen, da 90% der Post-Verteilung außerhalb des ROPE liegen.Der Robo-Professor hat einen Einfluss von exakt 10% auf die Lernleistung der Studierenden.Es ist nicht auszuschließen, dass der Robo-Professor keinen substanziellen Einfluss auf die Lernleistung hat – ein ROPE-Anteil von 10% reicht (je nach gewählter Entscheidungsschwelle) meist nicht aus, um die Praktisch-Null-Hypothese eindeutig zu verwerfen.Es gibt definitiv keinen Einfluss des Robo-Professors auf die Lernleistung.

Ein ROPE-Anteil von 10% bedeutet, dass zwar der überwiegende Teil (90%) der Post-Verteilung außerhalb des ROPE liegt, aber eben nicht der komplette relevante Anteil (z.B. das 95%-HDI) – ein gewisser Teil der plausiblen Werte liegt noch im Bereich “praktisch Null”. Damit lässt sich weder eindeutig sagen, dass der Effekt substanziell ist, noch dass er vernachlässigbar ist – die Datenlage bleibt in diesem Sinne unklar, und ein “praktisch Null”-Effekt ist nicht auszuschließen. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option verwechselt den ROPE-Anteil (einen Prozentsatz der Post-Verteilung innerhalb eines Bereichs) mit der Effektgröße selbst – beide sind unterschiedliche Größen.

• Die dritte Option ist eine zu starke Aussage: Ein ROPE-Anteil von 10% (statt z.B. 100%) bedeutet gerade nicht, dass definitiv kein Effekt vorliegt – im Gegenteil, der Großteil der Post-Verteilung liegt außerhalb des ROPE.

• Die vierte Option überinterpretiert 90% außerhalb des ROPE als bereits ausreichend für eine eindeutige Ablehnung der Praktisch-Null-Hypothese – je nach gewählter Entscheidungsschwelle (häufig nahe 100%/0%) reicht ein Rest-Anteil von 10% im ROPE aber noch aus, um die Entscheidung als unklar einzustufen.

• Die fünfte Option kehrt die Interpretation ins Gegenteil um: Ein kleiner ROPE-Anteil (10%, nicht ein großer) spricht eher gegen einen vernachlässigbaren Effekt, nicht dafür.

• Falsch

• Falsch

• Falsch

• Wahr

• Falsch

Welcher Unterschied besteht laut Kapitel zwischen dem klassischen (frequentistischen) \(R^2\) und dem Bayes-\(R^2\) zur Beurteilung der Modellgüte?

Bayes-\(R^2\) und \(\sigma\) (die Streuung der Vorhersagefehler) sind völlig unabhängig voneinander und stehen in keinem systematischen Verhältnis.Ein hohes Bayes-\(R^2\) bedeutet automatisch, dass ein gefundener Zusammenhang auch kausal ist.Frequentistisches und Bayes-\(R^2\) sind exakt dieselbe Zahl, nur mit unterschiedlichem Namen.\(R^2\) kann in der Bayes-Statistik grundsätzlich nicht berechnet werden.Das frequentistische \(R^2\) ist üblicherweise nur ein Punktschätzer; das Bayes-\(R^2\) liegt hingegen als vollständige Post-Verteilung vor, sodass man zusätzlich einen Schätzbereich für die Modellgüte angeben kann.

Das Kapitel stellt fest: “Im Unterschied zum Frequentistischen R-Quadrat erhält man in der Bayes-Statistik nicht nur einen Punktschätzer für \(R^2\), sondern […] eine Post-Verteilung, so dass man z.B. einen Schätzbereich angeben kann.” Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ignoriert den genannten Unterschied: Auch wenn beide Kennzahlen denselben Anteil erklärter Varianz messen wollen, liefert die Bayes-Variante zusätzliche Information (eine ganze Verteilung statt nur einer Zahl).

• Die dritte Option widerspricht dem Kapitel direkt, das explizit zeigt, wie man r2_posterior() bzw. r2() für ein Bayes-Modell in R berechnet.

• Die vierte Option ist eine unzulässige Übertragung: Ein hohes \(R^2\) (egal ob frequentistisch oder Bayes’sch) zeigt nur, wie gut das Modell die Daten erklärt (Vorhersagegüte) – es sagt nichts über Kausalität aus, wie im Kapitel wiederholt betont wird.

• Die fünfte Option widerspricht dem Kapitel: “\(R^2\) und \(\sigma\) sind negativ assoziiert: In einem Datensatz mit hohem \(R^2\) ist \(\sigma\) gering und umgekehrt” – beide Kennzahlen basieren auf \(\sigma\) und stehen daher in einem systematischen (negativen) Zusammenhang.

• Falsch

• Falsch

• Falsch

• Falsch

• Wahr

Was ist laut Kapitel der zentrale Vorteil der Parameterschätzung gegenüber dem reinen Testen von Hypothesen?

Die Parameterschätzung ist immer schneller zu berechnen als ein Hypothesentest.Die Parameterschätzung liefert automatisch Aussagen über Kausalität, während Hypothesentests das nicht können.Die Parameterschätzung liefert ein nuancierteres Ergebnis (z.B. einen Schätzbereich für die Effektgröße), das der Komplexität realer Systeme besser gerecht wird als eine reine Ja-Nein-Entscheidung.Die Parameterschätzung benötigt grundsätzlich keine Daten, nur Vorwissen.Die Parameterschätzung eliminiert jegliche Ungewissheit aus der Analyse.

Das Kapitel benennt als Vorteil der Parameterschätzung explizit “die Nuanciertheit des Ergebnisses, die der Komplexität echter Systeme besser Rechnung trägt” – im Gegensatz zur vereinfachenden Schwarz-Weiß-Antwort eines reinen Hypothesentests. Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ist eine im Kapitel nicht getroffene, sachlich unbegründete Behauptung über Rechenzeiten – der beschriebene Vorteil betrifft den Informationsgehalt des Ergebnisses, nicht die Berechnungsgeschwindigkeit.

• Die dritte Option ist falsch: Auch die Parameterschätzung basiert wie jede statistische Analyse auf beobachteten Daten (kombiniert mit einer Priori-Verteilung) – ganz ohne Daten ließe sich kein Schätzbereich aus einer Post-Verteilung berechnen.

• Die vierte Option ist eine unzulässige Übertragung: Weder Parameterschätzung noch Hypothesentests liefern für sich genommen automatisch kausale Aussagen – beide sind zunächst statistische (assoziative) Verfahren, wie das Kapitel wiederholt betont.

• Die fünfte Option widerspricht dem Grundprinzip der Bayes-Statistik: Ein Schätzbereich quantifiziert Ungewissheit (z.B. über die Breite des Intervalls), er eliminiert sie nicht – vollständige Sicherheit gibt es in der Regel nicht.

• Falsch

• Falsch

• Wahr

• Falsch

• Falsch

Die Post-Stichprobe m_penguins_sex_post enthält 4000 Werte für den Koeffizienten sexmale. Der Befehl count(sexmale > 0) liefert: 3980 Werte sind größer als 0, 20 Werte sind kleiner oder gleich 0. Wie hoch ist die Effektwahrscheinlichkeit pd (probability of direction) für diesen Effekt?

\(pd = \dfrac{3980}{4000} = 0{,}995\), also 99,5%\(pd = \dfrac{4000}{3980} \approx 1{,}005\)\(pd = 3980\)\(pd = \dfrac{3980}{20} = 199\)\(pd = \dfrac{20}{4000} = 0{,}005\), also 0,5%

pd gibt den Anteil der Post-Stichproben an, die auf der (durch den Median bestimmten) Seite von Null liegen. Hier liegen 3980 von 4000 Stichproben über Null: \(pd = \dfrac{3980}{4000} = 0{,}995\), also eine Effektwahrscheinlichkeit von 99,5%, dass männliche Tiere im Schnitt schwerer sind.

Warum die Distraktoren falsch sind:

• Die zweite Option berechnet den Anteil der Stichproben auf der anderen Seite (Gegenrichtung) und bezieht sich damit auf \(1-pd\), nicht auf pd selbst.

• Die dritte Option kehrt den Bruch um; das Ergebnis ist größer als 1 und kann daher keine gültige Wahrscheinlichkeit sein.

• Die vierte Option teilt die Anzahl der Treffer fälschlich durch die Anzahl der Nicht-Treffer statt durch die Gesamtzahl aller Stichproben (4000); der resultierende Wert (199) ist weit außerhalb des gültigen Wahrscheinlichkeitsbereichs \([0,1]\).

• Die fünfte Option gibt schlicht die absolute Anzahl der Treffer zurück, ohne diese ins Verhältnis zur Gesamtzahl der Stichproben zu setzen.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Das Kapitel zitiert Gelman & Kollegen mit der Aussage, dass man exakte Nullhypothesen (z.B. \(\beta_1=0\)) in den Sozial- und Gesundheitswissenschaften kaum je für “wirklich wahr” hält. Welche Schlussfolgerung zieht das Kapitel daraus für die Praxis?

Statt exakte Nullhypothesen zu testen, sind Alternativen wie das Berichten von Post-Intervallen, das ROPE-Konzept, die Quantifizierung inhaltlich bedeutsamer Hypothesen oder die probability of direction (pd) oft sinnvoller.Da Nullhypothesen fast nie exakt wahr sind, sollte man in der Praxis komplett auf jegliche statistische Auswertung verzichten.Nullhypothesentests sind in der frequentistischen Statistik grundsätzlich verboten und dürfen nicht mehr verwendet werden.Weil exakte Nullhypothesen fast immer falsch sind, kann man in der Bayes-Statistik grundsätzlich keine Hypothesen mehr formulieren.Die Kritik an exakten Nullhypothesen betrifft ausschließlich die Bayes-Statistik, nicht die frequentistische Statistik.

Das Kapitel führt als Alternativen zum reinen Testen exakter Nullhypothesen explizit auf: Posteriori-Intervalle (ETI/HDI) berichten, das ROPE-Konzept, die Quantifizierung der Wahrscheinlichkeit inhaltlich bedeutsamer Hypothesen (z.B. \(\beta_1>0{,}42\)) sowie die Wahrscheinlichkeit einer bestimmten Effektrichtung (pd). Die erste Option ist korrekt.

Warum die Distraktoren falsch sind:

• Die zweite Option ist eine unangemessene Übertreibung: Die Kritik richtet sich gegen das Testen einer spezifischen, meist unrealistischen exakten Nullhypothese, nicht gegen statistische Auswertung im Allgemeinen – das Kapitel schlägt ja gerade sinnvolle Alternativen vor, statt jegliche Analyse zu verwerfen.

• Die dritte Option ist falsch: Nullhypothesentests sind weiterhin weit verbreitet und werden nicht als “verboten” dargestellt – das Kapitel plädiert lediglich dafür, ihre Grenzen zu erkennen und ggf. Alternativen zu erwägen.

• Die vierte Option ist eine unzulässige Übertreibung: Die Kritik an der exakten Nullhypothese bedeutet nicht, dass man in der Bayes-Statistik generell keine Hypothesen mehr aufstellen könnte – im Gegenteil, das ROPE-Verfahren und andere im Kapitel vorgestellte Methoden erlauben weiterhin sinnvolle (nur eben andere) Hypothesentests.

• Die fünfte Option ist falsch: Das Zitat bezieht sich explizit auch auf die Praxis der (frequentistischen) Null-Hypothesen-Signifikanztestung (“null hypothesis significance testing”) und ist nicht auf die Bayes-Statistik beschränkt.

• Wahr

• Falsch

• Falsch

• Falsch

• Falsch

Gelman, A., Hill, J., & Vehtari, A. (2021). Regression and Other Stories. Cambridge University Press.

Horst, A. (2024). Statistics Artwork [Artwork]. https://allisonhorst.com/

Kruschke, J. K. (2018). Rejecting or Accepting Parameter Values in Bayesian Estimation. Advances in Methods and Practices in Psychological Science, 1(2), 270–280. https://doi.org/10.1177/2515245918771304

Morey, R. D., & Rouder, J. N. (2011). Bayes Factor Approaches for Testing Interval Null Hypotheses. Psychological Methods, 16(4), 406–419. https://doi.org/10.1037/a0024377

Popper, K. (2013). Logik Der Forschung (H. Keuth, Hrsg.). Akademie Verlag. https://doi.org/10.1524/9783050063782

---

1. https://statistik1.netlify.app/090-regression2

2. vor allem in der Frequentistischen Statistik

3. Tatsächlich gibt es schwarze Schwäne, aber nicht in Europa: https://en.wikipedia.org/wiki/Black_swan

4. https://imgflip.com/i/5v5531

5. Mittlerweile gibt es neue Frequentistische Ansätze für ein Verfahren ähnlich dem ROPE-Ansatz, der weiter unten vorgestellt wird.

6. 89 ist die nächst kleinste Primzahl unter 95; und 95 wird gemeinhin als Grenzwert für Schätzbereiche verwendet. Damit ist 95 hier eine “magic number”, ein Defacto-Standard ohne hinreichende Begründung. Um darauf hinzuweisen, benutzen einige Forscherinnen und Forscher mit – ähem – subtilem Humor lieber die 89 als die 95. 🤷♂️