Ist es möglich, eine Nullhypothese zu beweisen?

37

Wie die Frage besagt - ist es möglich, die Nullhypothese zu beweisen? Nach meinem (eingeschränkten) Verständnis der Hypothese lautet die Antwort nein, aber ich kann keine strenge Erklärung dafür finden. Hat die Frage eine endgültige Antwort?

Pulkit Sinha
quelle
4
Es kommt darauf an, was Sie mit "beweisen" meinen. Wie bereits erwähnt, handelt es sich hierbei nicht um eine statistische, sondern um eine philosophische Frage, auf die es keine endgültige Antwort gibt.
whuber
Dies ist eine etwas schlecht gestellte Frage. Wir müssen die Bedingungen kennen, unter denen dieser "Beweis" erfolgen soll.
Wahrscheinlichkeitsrechnung
Vielleicht ist eine besser gestellte Frage: "Unter welchen Bedingungen / Annahmen ist es möglich, die Nullhypothese zu beweisen?"
Wahrscheinlichkeitsrechnung

Antworten:

19

Wenn Sie über die reale Welt und nicht über formale Logik sprechen, ist die Antwort natürlich. Der "Beweis" von irgendetwas durch empirische Mittel hängt von der Stärke der Schlussfolgerung ab, die man ziehen kann, was wiederum durch die Gültigkeit des Testprozesses bestimmt wird, der im Lichte von allem bewertet wird, was man über die Funktionsweise der Welt weiß (dh Theorie). Wann immer man akzeptiert, dass bestimmte empirische Ergebnisse die Ablehnung der "Null" -Hypothese rechtfertigen, fällt man notwendigerweise Urteile dieser Art (Gültigkeit des Designs; Welt funktioniert auf bestimmte Weise), und muss daher die analogen Annahmen treffen, die erforderlich sind, um den "Beweis" des "Null" zu rechtfertigen null "ist überhaupt nicht problematisch.

Was sind also die analogen Annahmen? Hier ist ein Beispiel für das "Beweisen der Null", das in den Gesundheits- und Sozialwissenschaften an der Tagesordnung ist. (1) Definieren Sie "null" oder "no effect" auf eine Weise, die praktisch sinnvoll ist. Nehmen wir an, ich glaube, ich sollte mich so verhalten, als gäbe es keinen signifikanten Unterschied zwischen zwei Behandlungen, t1 und t2, für eine Krankheit, es sei denn, eine bietet eine um 3% bessere Heilungschance als die andere. (2) Finden Sie einen gültigen Entwurf heraus, um zu testen, ob ein Effekt vorliegt - in diesem Fall, ob zwischen t1 und t2 ein Unterschied in der Wiederherstellungswahrscheinlichkeit besteht. (3) Führen Sie eine Leistungsanalyse durch, um zu bestimmen, ob welche Stichprobengröße erforderlich ist, um eine hinreichend hohe Wahrscheinlichkeit zu generieren - eine, auf die ich mich angesichts dessen, was erforderlich ist, verlassen kann. “vorausgesetzt, es existiert. Normalerweise sagen die Leute, dass Leistung ausreichend ist, wenn die Wahrscheinlichkeit, einen bestimmten Effekt bei einem bestimmten Alpha zu beobachten, mindestens 0,80 beträgt. Das richtige Maß an Vertrauen hängt jedoch davon ab, wie abgeneigt Sie sind, Fehler zu machen - genau wie bei Auswahl von p -Wertschwelle für "Zurückweisen der Null" (4) Führen Sie den empirischen Test durch und beobachten Sie den Effekt. Liegt sie unter dem angegebenen Wert für "Sinnvolle Differenz" (in meinem Beispiel 3%), haben Sie "bewiesen", dass "keine Wirkung" vorliegt.

Für eine gute Behandlung dieser Angelegenheit siehe Streiner, DL Unicorns Do Exist: Ein Tutorial zum „Beweisen“ der Nullhypothese . Canadian Journal of Psychiatry 48, 756-761 (2003).

dmk38
quelle
1
+1. Dies ist ein schönes Beispiel dafür, wie wichtig es ist, klar über den eigenen Beweisstandard zu sein. In vielen Anwendungen ist der Standard, den Sie hier aufrufen - das "Handeln als ob", wenn ich es so nennen darf - so schwach, dass niemand es als "Beweis" akzeptieren würde. Ich bestreite jedoch nicht seinen Nutzen und befürworte einen solchen Ansatz zur Unterstützung rationaler Entscheidungen. (Aber vielleicht sind Bayesianische Methoden besser ... :-)
whuber
1
(+1) Gute Antwort. Ich habe einen Link zu einer Online-Version von Streiners Artikel hinzugefügt. Ich hoffe, es macht Ihnen nichts aus (Sie können es jederzeit entfernen).
chl
1
paar weitere Dinge: (1) Die Behandlung von Versagen der Null als Beweismittel in abzulehnen Unterstützung von null ist ein schockierend häufiger Fehler & üblich Anlass für Streiner des Punkt. Dieser Fehler macht die starke Abneigung gegen Typ-1-Fehler in der Norm "p <0,05" zur Lizenz für Typ 2. S sagt: "Warte - du brauchst Kraft ..." (2) Whuber zitiert Humes berühmtes Argument. H pt ist eigentlich nur als empirische Beweise subversive die Null als Beweise Ablehnung von der Null. H sagt, Induktion kann kausale Folgerungen nicht stützen. Okay; Für empirische Studien gibt es keine Alternative! Gehen Sie Pearl (& Bayes), nicht Hume, auf Kausalität!
dmk38
1
diese Frage auf Äquivalenztests hat auch einige gute Vorschläge stats.stackexchange.com/questions/3038/...
Jeromy Anglim
Entspricht dies der Annahme, dass die neue Nullhypothese "nicht die Null" ist und diese neue Nullhypothese dann verworfen wird?
16

Antwort von der mathematischen Seite: Es ist genau dann möglich, wenn "Hypothesen gegenseitig singulär sind".

Wenn mit "beweisen" eine Regel gemeint ist, die "akzeptieren" kann (sollte ich das sagen :)), mit einer Wahrscheinlichkeit, einen Fehler zu machen, der Null ist, dann suchen Sie nach dem, was als "idealer Test" bezeichnet werden könnte, und dieser existiert :H0

Wenn Sie testen, ob eine Zufallsvariable aus oder aus (dh gegen ), gibt es einen idealen Test, wenn und nur wenn ( und sind "gegenseitig singulär"). XP0P1H0:XP0H1:XP1 P1P0P1P0

Wenn Sie nicht wissen, was "gegenseitig singulär" bedeutet, kann ich Ihnen ein Beispiel geben: und (Uniformen auf und ) sind gegenseitig singulär. Dies bedeutet, wenn Sie testen möchtenU[0,1]U[3,4][0,1][3,4]

H0:XU[0,1] gegenH1:XU[3,4]

dann gibt es einen idealen Test (raten Sie mal, was es ist :)): Ein Test, der niemals falsch ist!

Wenn und nicht gegenseitig singulär sind, dann existiert dies nicht (dies ergibt sich aus dem "nur wenn Teil")!P1P0

Nicht mathematisch bedeutet dies, dass Sie die Null genau dann nachweisen können, wenn der Beweis bereits in Ihren Annahmen enthalten ist (dh, wenn Sie die Hypothese und , die so unterschiedlich sind, dass eine einzige Beobachtung von nicht identifiziert werden kann wie eins von und umgekehrt). H0H1H0H1

Robin Girard
quelle
4
+1 Schöne Antwort. Eine einfache Darstellung der Mathematik ist, dass die Null und ihre Alternativen disjunkte Ergebnismengen liefern sollen; ZB ist entweder ein Zebra in diesem Raum oder nicht. Natürlich schließt "beweisen" hier implizit "vom Modell abhängig" ein, das selbst niemals mit der gleichen Genauigkeit wie beispielsweise ein mathematischer Satz aufgestellt wird; implizit beinhaltet es "abhängig von der Genauigkeit der Beobachtungen"; und es schließt implizit ein, dass die Hypothesen eindeutig interpretiert werden können. (Für Kritik an letzterem siehe George Lakoffs Women, Fire and Dangerous Things. )
whuber
11

Ja, es gibt eine endgültige Antwort. Diese Antwort lautet: Nein, es gibt keinen Weg, eine Nullhypothese zu beweisen. Das Beste, was Sie meines Wissens tun können, ist, Konfidenzintervalle um Ihre Schätzung zu werfen und zu demonstrieren, dass der Effekt so gering ist, dass er genauso gut im Wesentlichen nicht vorhanden sein könnte.

russellpierce
quelle
4
Im Allgemeinen besteht das Problem in der Statistik nicht darin, dass Sie die Nullhypothese nicht beweisen können, sondern dass Sie keine sicheren Punktschätzungen vornehmen können. Das heißt, Sie können nicht sagen, dass die Effektgröße der Variablen 1,95 beträgt, wenn Sie nicht sagen können, dass die Variable keine Auswirkung hat. Statistiken haben immer Konfidenzintervalle.
Russellpierce
1
Einverstanden, dass die Antwort ein großes NEIN ist, und das aus einem sehr starken Grund: durch Erstellung einer statistischen Hypothese. Die Tatsache, dass die akzeptierte Antwort etwas anderes behauptet, ist absolut tragisch. Das Testen von Hypothesen lautet als Antwort: Sind die von mir erfassten Daten konsistent mit der Annahme, dass meine Hypothese wahr ist? Und keinesfalls umgekehrt. Es bedarf nicht vieler Überlegungen, um zu verstehen, dass Sie daraus nicht ableiten können, ob die Hypothese wahr ist oder nicht.
Christophe
4

Für mich ist der entscheidungstheoretische Rahmen der einfachste Weg, die "Nullhypothese" zu verstehen. Grundsätzlich heißt es, dass es mindestens zwei Alternativen geben muss: die Null-Hypothese und mindestens eine Alternative. Dann besteht das "Entscheidungsproblem" darin, eine der Alternativen zu akzeptieren und die anderen abzulehnen (obwohl wir genau definieren müssen, was wir unter "Akzeptieren" und "Ablehnen" der Hypothese verstehen). Ich sehe die Frage "Können wir die Nullhypothese beweisen?" analog zu "können wir immer die richtige entscheidung treffen?" Aus Sicht der Entscheidungstheorie lautet die Antwort eindeutig Ja, wenn

1) Es gibt keine Unsicherheit im Entscheidungsprozess, denn dann ist es eine mathematische Übung, herauszufinden, wie die richtige Entscheidung lautet.

2) Wir akzeptieren alle anderen Prämissen / Annahmen des Problems. Die kritischste (ich denke) ist, dass die Hypothese, zwischen der wir uns entscheiden, erschöpfend ist und eine (und nur eine) von ihnen wahr sein muss und die anderen falsch sein müssen.

Aus philosophischer Sicht ist es nicht möglich, irgendetwas zu "beweisen", in dem Sinne, dass der "Beweis" vollständig von den Annahmen / Axiomen abhängt, die zu diesem "Beweis" führen. Ich sehe Beweise eher als eine Art logische Äquivalenz als eine "Tatsache" oder "Wahrheit" in dem Sinne, dass, wenn der Beweis falsch ist, die Annahmen, die dazu geführt haben, auch falsch sind.

Wenn ich dies auf die "Beweis der Nullhypothese" anwende, kann ich "beweisen", dass es wahr ist, indem ich einfach annehme, dass es wahr ist, oder indem ich annehme, dass es wahr ist, wenn bestimmte Bedingungen erfüllt sind (wie der Wert einer Statistik).

Wahrscheinlichkeitslogik
quelle
3

Ja, es ist möglich, die Null zu beweisen - genauso wie es möglich ist, eine Alternative zur Null zu beweisen. In einer Bayes'schen Analyse ist es durchaus möglich, dass die Gewinnchancen für die Null gegenüber einer der vorgeschlagenen Alternativen beliebig groß werden. Darüber hinaus ist es falsch zu behaupten, wie einige der obigen Antworten behaupten, dass man die Null nur dann beweisen kann, wenn die Alternativen dazu disjunkt sind (sich nicht mit der Null überschneiden). In einer Bayes'schen Analyse hat jede Hypothese eine vorherige Wahrscheinlichkeitsverteilung. Diese Verteilung verteilt eine Einheitsmasse der vorherigen Wahrscheinlichkeit auf die vorgeschlagenen Alternativen. Die Nullhypothese setzt alle vorherigen Wahrscheinlichkeiten auf eine einzige Alternative. Im Prinzip können Alternativen zur Null die gesamte vorherige Wahrscheinlichkeit auf eine Nicht-Null-Alternative setzen (auf einen anderen "Punkt"). aber das ist selten. Im Allgemeinen sichern sich Alternativen ab, dh, sie verteilen die gleiche Masse früherer Wahrscheinlichkeiten auf andere Alternativen - entweder unter Ausschluss der Nullalternative oder allgemeiner unter Einschluss der Nullalternative. Es stellt sich die Frage, welche Hypothese die größte Wahrscheinlichkeit für den tatsächlichen Fall der experimentellen Daten bietet. Wenn die Daten eng an der Stelle liegen, an der die Null angibt, dass sie fallen sollten, ist dies die Quote-on-Favority (unter den vorgeschlagenen Hypothesen), AUCH WENN SIE IN DEN ALTERNATIVEN ENTHALTEN SIND (IN DIESEN NESTEN ENTHALTEN SIND, NICHT AUSSCHLIESSLICH). Die Annahme, dass es nicht möglich ist, dass eine verschachtelte Alternative wahrscheinlicher ist als die Menge, in der sie verschachtelt ist, spiegelt das Fehlen einer Unterscheidung zwischen Wahrscheinlichkeit und Wahrscheinlichkeit wider. Während es unmöglich ist, dass eine Komponente einer Menge weniger wahrscheinlich ist als die gesamte Menge, ist es durchaus möglich, dass die hintere Wahrscheinlichkeit einer Komponente einer Menge von Hypothesen größer ist als die hintere Wahrscheinlichkeit der gesamten Menge. Die hintere Wahrscheinlichkeit einer Hypothese ist das Produkt der Wahrscheinlichkeitsfunktion und der vorherigen Wahrscheinlichkeitsverteilung, die die Hypothese aufstellt. Wenn eine Hypothese die gesamte vorherige Wahrscheinlichkeit an die richtige Stelle setzt (z. B. auf die Null), hat sie eine höhere hintere Wahrscheinlichkeit als eine Hypothese, bei der ein Teil der vorherigen Wahrscheinlichkeit an die falsche Stelle gesetzt wird (nicht auf die Null). Die hintere Wahrscheinlichkeit einer Hypothese ist das Produkt der Wahrscheinlichkeitsfunktion und der vorherigen Wahrscheinlichkeitsverteilung, die die Hypothese aufstellt. Wenn eine Hypothese die gesamte vorherige Wahrscheinlichkeit an die richtige Stelle setzt (z. B. auf die Null), hat sie eine höhere hintere Wahrscheinlichkeit als eine Hypothese, bei der ein Teil der vorherigen Wahrscheinlichkeit an die falsche Stelle gesetzt wird (nicht auf die Null). Die hintere Wahrscheinlichkeit einer Hypothese ist das Produkt der Wahrscheinlichkeitsfunktion und der vorherigen Wahrscheinlichkeitsverteilung, die die Hypothese aufstellt. Wenn eine Hypothese die gesamte vorherige Wahrscheinlichkeit an die richtige Stelle setzt (z. B. auf die Null), hat sie eine höhere hintere Wahrscheinlichkeit als eine Hypothese, bei der ein Teil der vorherigen Wahrscheinlichkeit an die falsche Stelle gesetzt wird (nicht auf die Null).


quelle
2

Technisch gesehen kann eine Nullhypothese nicht bewiesen werden. Für jede feste, endliche Stichprobengröße gibt es immer eine kleine Effektgröße ungleich Null, für die Ihr statistischer Test praktisch keine Aussagekraft besitzt. In der Praxis können Sie jedoch nachweisen, dass Sie sich innerhalb eines kleinen Epsilons der Nullhypothese befinden, sodass Abweichungen von weniger als diesem Epsilon praktisch nicht signifikant sind.

dsimcha
quelle
2

Es gibt einen Fall, in dem ein Beweis möglich ist. Angenommen, Sie haben eine Schule und Ihre Nullhypothese lautet, dass die Anzahl der Jungen und Mädchen gleich ist. Mit zunehmender Stichprobengröße nimmt die Unsicherheit im Verhältnis von Jungen zu Mädchen tendenziell ab und erreicht schließlich eine Gewissheit (was ich als Beweis bezeichne), wenn die gesamte Schülerpopulation befragt wird.

Wenn Sie jedoch keine endliche Grundgesamtheit haben oder wenn Sie eine Stichprobe mit Ersatz durchführen und keine neu abgetasteten Personen erkennen können, können Sie die Unsicherheit mit einer endlichen Stichprobe nicht auf Null reduzieren.

Henry
quelle
0

Ich möchte hier einen Punkt diskutieren, bei dem viele Benutzer etwas verwirrt sind. Was ist die wahre Bedeutung der Nullhypothesenanweisung H0: p = 0? Versuchen wir festzustellen, ob der Parameter p Null ist? Natürlich nicht, es gibt keine Möglichkeit, ein solches Ziel zu erreichen.

Was wir feststellen wollen, ist, dass der ausgewertete Parameterwert angesichts des Datensatzes von Null aus nicht erkennbar ist (oder nicht). Denken Sie daran, dass NHST den alternativen Hypothesen gegenüber "unfair" ist: Der Null wird ein Konfidenzniveau von 95% und der Alternative nur 5% zugeschrieben. Folglich bedeutet ein "nicht signifikantes" Ergebnis nicht, dass H0 zutrifft, sondern lediglich, dass wir keine ausreichenden Beweise dafür gefunden haben, dass die Alternative wahrscheinlich ist.

licas
quelle