Was ist der Unterschied zwischen „Hypothesentest“ und „Signifikanztest“?

17

Gibt es einen Unterschied zwischen den Ausdrücken "Prüfung der Hypothese" und "Prüfung der Signifikanz" oder sind sie gleich?

Nach einer ausführlichen Antwort von Michael Lew, habe ich eine Verwirrung, dass heutzutage Hypothesen (z. B. t-Test, um Mittelwert zu testen) entweder Beispiele für "Signifikanztests" oder "Hypothesentests" sind. Oder ist es eine Kombination aus beidem? Wie würden Sie sie anhand eines einfachen Beispiels unterscheiden?

Liebesstatistiken
quelle
3
Der t-Test des Schülers kann verwendet werden, um einen p-Wert bereitzustellen, der dann in einem Fisherian Signifcance-Test (der p-Wert ist das Signifikanzniveau) oder in einem Neyman-Pearson-Hypothesetest (wenn der p-Wert kleiner als das voreingestellte Alpha ist) verwendet werden kann dann ist das Ergebnis "signifikant"). Der Unterschied besteht darin, was mit dem T-Test-Ergebnis gemacht wird und nicht aus welcher Denkschule der T-Test stammt (obwohl Gossetts Ansatz mit Fisher viel mehr gemein hatte als mit NP).
Michael Lew

Antworten:

19

Signifikanztests wurden von Fisher entwickelt, und Hypothesentests wurden von Neyman und Pearson entwickelt, um Signifikanztests zu ersetzen. Sie sind nicht gleich und in einem Ausmaß miteinander unvereinbar, das die meisten Benutzer von Nullhypothesentests überraschen würde.

Fischers Signifikanztests ergeben einen p-Wert, der angibt, wie extrem die Beobachtungen unter der Nullhypothese sind. Dieser p-Wert ist ein Beweisindex gegen die Nullhypothese und das Signifikanzniveau.

Die Hypothesentests von Neyman und Pearson stellen sowohl eine Nullhypothese als auch eine Alternativhypothese auf und dienen als Entscheidungsregel für die Annahme der Nullhypothese. Kurz gesagt (es gibt mehr, als ich hier sagen kann), wählen Sie eine akzeptable Rate falsch positiver Schlussfolgerungen, Alpha (normalerweise 0,05), und akzeptieren oder lehnen Sie die Null ab, je nachdem, ob der p-Wert über oder unter Alpha liegt. Sie müssen sich an die Entscheidung des statistischen Tests halten, wenn Sie sich vor falsch positiven Fehlern schützen möchten.

Mit dem Fisher-Ansatz können Sie bei der Interpretation des Ergebnisses alles berücksichtigen, was Sie möchten. Beispielsweise können bereits vorhandene Belege bei der Interpretation und Präsentation des Ergebnisses informell berücksichtigt werden. Im NP-Ansatz ist dies nur in der experimentellen Entwurfsphase möglich und scheint selten zu geschehen. Meiner Meinung nach ist der Fisher-Ansatz für die grundlegende biowissenschaftliche Arbeit nützlicher als der NP-Ansatz.

Es gibt eine umfangreiche Literatur über Inkonsistenzen zwischen Signifikanztests und Hypothesentests und über die unglückliche Hybridisierung der beiden. Sie könnten mit diesem Artikel beginnen: Goodman, Hin zu evidenzbasierter medizinischer Statistik. 1: Der P-Wert-Irrtum. http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

Michael Lew
quelle
2
@ Michael Lew - +1 Ich wusste nicht, dass Newman / Pearson das Testen der Phrasenhypothese geprägt hatte, und ich interpretierte es eher informell. Bitte erläutern Sie mir auch, warum meine Antwort falsch ist, da ich Fehler gerne korrigieren würde und immer auf Feedback gespannt bin.
Richiemorrisroe
2
@richiemorrisroe - Neyman und Pearson haben mehr als einen Satz geprägt! Sie entwickelten ein ganzes Paradigma für die statistische Analyse - ein Paradigma, das heute in vielen Bereichen vorherrscht (trotz meiner Meinung und der von Fisher) und für die meisten wissenschaftlichen Experimente ungeeignet ist. Fisher behauptete wiederholt, dass der NP-Ansatz nur für industrielle Abnahmetests relevant sei. Die meisten Texte zur Einführung in die Statistik enthalten nicht genügend Details und Historie, um den Schülern zu vermitteln, dass es wichtige Unterschiede zwischen den Denkschulen zu statistischen Tests gibt. Es ist unglücklich.
Michael Lew
0

In vielen Fällen bedeuten diese beiden Aussagen dasselbe. Sie können aber auch ganz anders sein.

Das Testen einer Hypothese besteht darin, zuerst zu sagen, was Ihrer Meinung nach mit einem Phänomen passieren wird, dann eine Art Test für dieses Phänomen zu entwickeln und dann zu bestimmen, ob das Phänomen tatsächlich aufgetreten ist oder nicht. In vielen Fällen muss zum Testen einer Hypothese kein statistischer Test durchgeführt werden. Ich werde von dem Physiker Ernest Rutherford an dieses Zitat erinnert - Wenn Ihr Experiment Statistiken benötigt, sollten Sie ein besseres Experiment durchgeführt haben. Abgesehen davon verwendet das Testen von Hypothesen normalerweise eine Art statistisches Werkzeug.

Signifikanztests sind dagegen ein rein statistisches Konzept. Im Wesentlichen hat man zwei Hypothesen - die Nullhypothese, die besagt, dass es keinen Unterschied zwischen Ihren zwei (oder mehr) Datensammlungen gibt. Die alternative Hypothese ist, dass es einen Unterschied zwischen Ihren beiden Proben gibt, der nicht zufällig auftrat.

Basierend auf dem Design Ihrer Studie vergleichen Sie dann die zwei (oder mehr) Stichproben mit einem statistischen Test, der Ihnen eine Zahl gibt, die Sie dann mit einer Referenzverteilung (wie der Normal-, T- oder F-Verteilung) vergleichen und wenn Wenn diese Teststatistik einen kritischen Wert überschreitet, lehnen Sie die Nullhypothese ab und schließen daraus, dass zwischen den zwei (oder mehr) Stichproben ein Unterschied besteht. Dieses Kriterium ist normalerweise, dass die Wahrscheinlichkeit, dass der Unterschied zufällig auftritt, kleiner als eins zu zwanzig ist (p <0,05), obwohl manchmal andere verwendet werden.

richiemorrisroe
quelle
Könnten Sie bitte ein Beispiel nennen, bei dem Hypothesentests keine statistischen Tests beinhalten?
Liebesstatistiken
Dies ist eine ungenaue Darstellung von Signifikanztests und Hypothesentests.
Michael Lew
@ user152509 Angenommen, ich führe eine Studie durch, in der ich Benutzer und Nicht-Benutzer eines bestimmten Produkts interviewe. Ich gehe davon aus, dass sich Nichtbenutzer auf die Nachteile des Produkts konzentrieren, während Benutzer darüber sprechen, wie das Produkt ihnen hilft. Dies ist, was ich beobachte, daher eine Hypothese, die ohne Statistik getestet wurde.
Richiemorrisroe
2
Es ist wichtig, zwischen einer wissenschaftlichen Hypothese und einer statistischen Hypothese zu unterscheiden. Die durch statistische Nullhypothesentests getestete Nullhypothese ist normalerweise nur die letztere. Das Testen einer gut durchdachten statistischen Hypothese kann Rückschlüsse auf die wissenschaftliche Hypothese zulassen, ist jedoch nicht immer der Fall.
Michael Lew
@ Michael Lew, ich habe eine Verwirrung, dass heutzutage Hypothesen (z. B. t-Test zum Testen des Mittelwerts) entweder Beispiele für "Signifikanztests" oder "Hypothesentests" sind. Oder ist es eine Kombination aus beidem? Wie würden Sie sie anhand eines einfachen Beispiels unterscheiden?
Liebesstatistiken