Kann ein enges Konfidenzintervall um einen nicht signifikanten Effekt den Nullpunkt belegen?

Es ist offensichtlich trügerisch anzunehmen, dass das Versäumnis, die Null abzulehnen, impliziert, dass die Null wahr ist. Aber in einem Fall, in dem die Null nicht zurückgewiesen wird und das entsprechende Konfidenzintervall (CI) eng und um 0 zentriert ist, liefert dies keinen Beweis für die Null?

Ich bin zweierlei Meinung: Ja, in der Praxis würde dies den Beweis erbringen, dass der Effekt mehr oder weniger 0 beträgt. In einem strengen Rahmen für das Testen von Hypothesen scheint es jedoch so zu sein, dass Null-Effekte für die Inferenz einfach unbrauchbar sind, ebenso wie ihre entsprechenden CIs. Was bedeutet ein CI, wenn seine Punktschätzung nicht signifikant ist? Ist es auch für Rückschlüsse unbrauchbar oder kann es wie im vorhergehenden Beispiel verwendet werden, um Beweise für die Null zu quantifizieren?

Antworten mit wissenschaftlichen Referenzen sind erwünscht.

Kurzum: Ja.

Wie Andy W geschrieben, die Schlussfolgerung gelangt , dass der Parameter gleich einen bestimmten Wert (in Ihrem Fall, Effektgröße gleich Null), ist eine Frage der Gleichwertigkeit Tests.

In Ihrem Fall kann dieses enge Konfidenzintervall tatsächlich darauf hinweisen, dass der Effekt praktisch Null ist, dh die Nullhypothese der Äquivalenz kann zurückgewiesen werden. Eine signifikante Äquivalenz auf Ebene wird typischerweise durch ein gewöhnliches Konfidenzintervall gezeigt, das vollständig innerhalb eines vorgegebenen Äquivalenzintervalls liegt. Dieses Äquivalenzintervall berücksichtigt, dass Sie wirklich kleine Abweichungen vernachlässigen können, dh alle Effektgrößen innerhalb dieses Äquivalenzintervalls können als praktisch gleichwertig angesehen werden. (Statistische Gleichheitsprüfung ist nicht möglich.)1 - 2 $1-\alpha$$1-2\alpha$

Weitere Informationen finden Sie in Stefan Welleks "Testen statistischer Hypothesen der Äquivalenz und Nichtunterlegenheit", dem umfassendsten Buch zu diesem Thema.

Nullhypothesen veranschaulichen die Bedeutung von "Alle Modelle sind falsch, aber einige sind nützlich." Sie sind wahrscheinlich am nützlichsten, wenn sie nicht wörtlich und aus dem Zusammenhang gerissen werden - das heißt, es ist wichtig, sich an den epistemischen Zweck der Null zu erinnern. Wenn es gefälscht werden kann, was das beabsichtigte Ziel ist, wird die Alternative im Vergleich nützlicher, wenn auch immer noch eher uninformativ. Wenn Sie die Null ablehnen, sagen Sie, dass der Effekt wahrscheinlich nicht Null ist (oder was auch immer - Nullhypothesen können auch andere Werte für die Fälschung angeben) ... also was ist es dann?

Die von Ihnen berechnete Effektgröße ist Ihre beste Punktschätzung des Populationsparameters. Im Allgemeinen sollten die Chancen gleich gut sein, dass es sich um eine Über- oder Unterschätzung handelt, aber die Chancen, dass es sich um ein Volltreffer handelt, sind infinitesimal, wie der Kommentar von @ Glen_b impliziert. Wenn Ihre Schätzung durch eine bizarre Wendung des Schicksals (oder durch Konstruktion - so oder so, ich nehme an, wir sprechen hypothetisch?) Direkt auf fällt , ist dies immer noch kein Beweis dafür, dass der Parameter kein anderer Wert ist das Konfidenzintervall. Die Bedeutung des Konfidenzintervalls ändert sich nicht basierend auf der Signifikanz eines Hypothesentests, es sei denn, dies kann den Ort und die Breite auf verwandte Weise verändern.$0.\bar 0$

Falls Sie nicht wissen, wie Effektgrößenschätzungen für Stichproben aus einer (simulierten) Population aussehen, deren Nullhypothese buchstäblich wahr ist (oder falls Sie sie noch nicht gesehen haben und nur für eine kleine statistische Unterhaltung hier sind ), sehen Sie sich Geoff Cummings Tanz der Werte an$p$ . Für den Fall, dass diese Konfidenzintervalle für Ihren Geschmack nicht eng genug sind, habe ich versucht, einige meiner eigenen in R mit zufällig generierten Stichproben zu simulieren, die jeweils nur knapp aus . Ich habe vergessen, einen Samen zu setzen, aber gesetzt und bin dann so oft gelaufen, wie es mir wichtig war, bevor ich diese Antwort beendet habe, die mir am Ende 6000 Proben gab. Hier ist ein Histogramm und ein Dichtediagramm mit undN ( 0 , 1 $n=1\rm M$$\mathcal N(0,1)$x=c()x=append(x,replicate(500,cor(rnorm(999999),rnorm(999999))))hist(x,n=length(x)/100)plot(density(x)), beziehungsweise:

$\ \ \ \ $

Wie zu erwarten ist, gibt es Hinweise auf eine Vielzahl von Nicht-Null-Effekten, die sich aus diesen Zufallsstichproben einer Population mit einem Effekt von buchstäblich Null ergeben, und diese Schätzungen sind mehr oder weniger normal um den wahren Parameter verteilt ( skew(x)= -.005, kurtosis(x)= 2.85). Stellen Sie sich vor, Sie kennen den Wert Ihrer Schätzung nur aus einer Stichprobe von , nicht aus dem wahren Parameter: Warum sollten Sie erwarten, dass der Parameter näher an Null liegt als Ihre Schätzung, anstatt weiter? Ihr Konfidenzintervall kann die Null enthalten, aber die Null ist nicht plausibler als der Wert des äquivalenten Abstands von Ihrer Stichprobeneffektgröße in die entgegengesetzte Richtung, und andere Werte sind möglicherweise plausibler als diese, insbesondere Ihre Punktschätzung!$n=1\rm M$

Wenn Sie in der Praxis zeigen möchten, dass ein Effekt mehr oder weniger Null ist, müssen Sie definieren, wie viel mehr oder weniger Sie ignorieren möchten. Mit diesen riesigen Stichproben, die ich simuliert habe, war die Schätzung der größten von mir erzeugten Größe . Mit realistischeren Stichproben von ist die größte, die ich unter Stichproben finde, . Auch hier sind die Residuen normal verteilt, so dass diese unwahrscheinlich sind, aber der Punkt ist, dass sie nicht unplausibel sind.n = 999 1 M | r | = $|r|=.004$$n=999$$1\rm M$$|r|=.14$

Ein CI ist wahrscheinlich für die Inferenz nützlicher als ein NHST im Allgemeinen. Es stellt nicht nur dar, wie schlecht es sein könnte, anzunehmen, dass der Parameter vernachlässigbar klein ist. Es ist eine gute Vorstellung davon, was der Parameter tatsächlich ist. Man kann immer noch entscheiden, ob dies vernachlässigbar ist, kann aber auch ein Gefühl dafür bekommen, wie nicht vernachlässigbar es sein könnte. Weitere Informationen zu Konfidenzintervallen finden Sie in Cumming ^{(2014 , 2013)} .

<sub>Referenzen
- Cumming, G. (2013). Grundlegendes zu den neuen Statistiken: Effektgrößen, Konfidenzintervalle und Metaanalyse . Routledge.
- Cumming, G. (2014). Die neue Statistik: Warum und wie. Psychological Science, 25 (7), 7–29. Abgerufen von http://pss.sagepub.com/content/25/1/7.full.pdf+html .</sub>