In http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing) heißt es
Wenn wir beispielsweise einen p-Wert von 0,05 haben und daraus schließen, dass er signifikant ist, beträgt die Wahrscheinlichkeit einer falschen Entdeckung per Definition 0,05.
Meine Frage: Ich habe immer gedacht, dass eine falsche Entdeckung ein Fehler vom Typ I ist, der in den meisten Tests den gewählten Signifikanzniveaus entspricht. Der P-Wert ist der aus der Probe berechnete Wert. In der Tat sagt Wikipedia
Der p-Wert sollte nicht mit dem Signifikanzniveau im Neyman-Pearson-Ansatz oder der Fehlerrate Typ I [falsch positive Rate] verwechselt werden. "
Warum behauptet der verlinkte Artikel, dass die Fehlerrate von Typ I durch den p-Wert gegeben ist?
hypothesis-testing
statistical-significance
p-value
false-discovery-rate
type-i-and-ii-errors
Hallo Welt
quelle
quelle
Antworten:
Ihre Rate falscher Entdeckungen hängt nicht nur von der p-Wert-Schwelle ab, sondern auch von der Wahrheit. Wenn Ihre Nullhypothese in Wirklichkeit falsch ist, können Sie keine falsche Entdeckung machen.
Vielleicht ist es hilfreich, sich das so vorzustellen: Der p-Wert-Schwellenwert ist die Wahrscheinlichkeit, falsche Entdeckungen zu machen, wenn keine wahren Entdeckungen gemacht werden müssen (oder anders ausgedrückt, wenn die Nullhypothese wahr ist).
Grundsätzlich,
Typ 1 Fehlerrate = "Wahrscheinlichkeit, dass die Null zurückgewiesen wird, wenn sie wahr ist" = p-Wert-Schwellenwert
und
Fehlerrate Typ 1 = Falsche Erkennungsrate WENN die Nullhypothese wahr ist
ist korrekt, aber beachten Sie die Bedingung von der wahren Null. Die Rate falscher Entdeckungen hat diese Bedingung nicht und hängt daher von der unbekannten Wahrheit ab, wie viele Ihrer Nullhypothesen tatsächlich korrekt sind oder nicht.
Es lohnt sich auch zu berücksichtigen, dass Sie bei der Steuerung der Falschentdeckungsrate mit einem Verfahren wie Benjamini-Hochberg niemals die tatsächlich Falschentdeckungsrate schätzen können, sondern sie durch Schätzen einer Obergrenze steuern. Um mehr zu tun, müssten Sie tatsächlich in der Lage sein, mithilfe von Statistiken zu erkennen, dass die Nullhypothese wahr ist, wenn Sie nur Verstöße einer bestimmten Größenordnung erkennen können (abhängig von der Stärke Ihres Tests).
quelle
Der Unterschied zwischen P-Werten und falsch positiver Rate (oder falscher Entdeckungsrate) wird, wie ich hoffe, unter http://rsos.royalsocietypublishing.org/content/1/3/140216 klar erklärt
Obwohl in diesem Artikel der Begriff "False Discovery Rate" verwendet wird, bevorzuge ich jetzt "False Positive Rate", da der frühere Begriff häufig im Zusammenhang mit Korrekturen für mehrere Vergleiche verwendet wird. Das ist ein anderes Problem. Das Papier weist darauf hin, dass für einen einzelnen unvoreingenommenen Test die Falsch-Positiv-Rate unter fast allen Umständen viel höher ist als der P-Wert.
Eine qualitative Beschreibung der zugrunde liegenden Logik finden Sie auch unter https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistic-significant
quelle