signifikanz-stichprobengroesse-schoice
Question
Nach der im Kapitel verwendeten Definition (angelehnt an Gelman) gilt ein Ergebnis als statistisch signifikant, wenn der Nullwert nicht im Schätzbereich (Konfidenzintervall) enthalten ist. Welche der folgenden Aussagen zur statistischen Signifikanz im Frequentismus ist korrekt?
Answerlist
- Ein statistisch signifikantes Ergebnis kann sowohl durch einen großen Effekt als auch durch eine große Stichprobe zustande kommen; bei ausreichend großer Stichprobe wird (fast) jeder von Null verschiedene Effekt irgendwann signifikant.
- Statistische Signifikanz hängt ausschließlich von der Effektgröße ab; die Stichprobengröße spielt dabei keine Rolle.
- Statistische Signifikanz hängt ausschließlich von der Stichprobengröße ab; die Effektgröße ist dabei irrelevant.
- Ein statistisch signifikantes Ergebnis bedeutet automatisch, dass der gefundene Effekt auch praktisch bedeutsam ist.
- Ein nicht signifikantes Ergebnis bei kleiner Stichprobe ist der Beweis dafür, dass in der Population kein Effekt existiert.
Solution
Im Kapitel wird ausdrücklich betont, dass statistische Signifikanz im Frequentismus eine Funktion sowohl der Effektgröße als auch der Stichprobengröße ist: Wenn die Stichprobe groß genug ist, wird (fast) jeder Test signifikant, sofern der wahre Effekt nicht exakt Null ist. Ein signifikantes Ergebnis kann also entweder daher rühren, dass der Effekt groß ist, oder daher, dass die Stichprobe groß ist (oder beides). Das entspricht der ersten Antwortoption.
Warum die Distraktoren falsch sind:
- Die zweite Option ignoriert genau den im Kapitel hervorgehobenen Punkt, dass auch die Stichprobengröße die Signifikanz beeinflusst – unabhängig von der tatsächlichen Effektgröße.
- Die dritte Option geht in die andere Richtung zu weit: Auch die Effektgröße spielt eine Rolle (bei Effekt = 0 in der Population wird ein Ergebnis nicht systematisch signifikant, egal wie groß die Stichprobe ist – abgesehen vom Fehler 1. Art).
- Die vierte Option verwechselt statistische Signifikanz mit praktischer Bedeutsamkeit. Gerade weil auch sehr kleine, praktisch irrelevante Effekte bei großen Stichproben signifikant werden können, ist diese Gleichsetzung eine der häufigsten Fehlinterpretationen, vor der das Kapitel warnt.
- Die fünfte Option begeht den Fehlschluss “Abwesenheit von Evidenz ist Evidenz für Abwesenheit”: Ein nicht-signifikantes Ergebnis, insbesondere bei kleiner Stichprobe (und entsprechend geringer Power), zeigt lediglich, dass der Nullwert nicht ausgeschlossen werden konnte – es ist kein Beweis, dass kein Effekt existiert.
Aufgabenname: signifikanz-stichprobengroesse-schoice
Answerlist
- Wahr
- Falsch
- Falsch
- Falsch
- Falsch
Meta-information
exname: signifikanz-stichprobengroesse-schoice extype: schoice expoints: 1 exsolution: 10000 exshuffle: 5 excategory: inferenz