FPR (False Positive Rate) vs FDR (False Discovery Rate)

Das folgende Zitat stammt aus dem berühmten Forschungsbericht Statistical Meaning für genomweite Studien von Storey & Tibshirani (2003):

Zum Beispiel bedeutet eine falsch-positive Rate von 5%, dass im Durchschnitt 5% der wirklich null Merkmale in der Studie als signifikant bezeichnet werden. Eine FDR (False Discovery Rate) von 5% bedeutet, dass von allen als signifikant bezeichneten Merkmalen 5% im Durchschnitt wirklich null sind.

Kann jemand anhand eines einfachen numerischen oder visuellen Beispiels erklären, was das bedeutet? Es fällt mir schwer zu verstehen, was es bedeutet. Ich habe verschiedene Posts auf FDR oder FPR alleine gefunden, aber keinen gefunden, wo ein spezifischer Vergleich gemacht wurde.

Es wäre besonders gut, wenn ein Experte auf diesem Gebiet Situationen veranschaulichen könnte, in denen einer besser als der andere ist oder beide gut oder schlecht sind.

Ich werde das auf verschiedene Arten erklären, weil es mir geholfen hat, es zu verstehen.

Nehmen wir ein konkretes Beispiel. Sie machen einen Krankheitstest an einer Gruppe von Menschen. Definieren wir nun einige Begriffe. Für jedes der folgenden beziehe ich mich auf eine Person, die getestet wurde:

Richtig positiv (TP) : Hat die Krankheit als krank identifiziert

Falsch positiv (FP) : Die Krankheit ist nicht vorhanden und wird als krank identifiziert

Richtig negativ (TN) : Die Krankheit ist nicht vorhanden, es wurde festgestellt, dass die Krankheit nicht vorhanden ist

Falsch negativ (FN) : Hat die Krankheit als nicht an der Krankheit erkrankt identifiziert

Visuell wird dies typischerweise anhand der Verwirrungsmatrix gezeigt :

Die False-Positive-Rate (FPR) ist die Anzahl der Personen, bei denen keine Krankheit vorliegt, bei denen jedoch eine Krankheit festgestellt wurde (alle FPs), dividiert durch die Gesamtzahl der Personen, bei denen keine Krankheit vorliegt (einschließlich aller FPs und TNs). .

$$FPR = \frac{FP}{FP + TN}$$

Die Falschentdeckungsrate (FDR) ist die Anzahl der Personen, bei denen keine Krankheit vorliegt, bei denen jedoch eine Krankheit festgestellt wurde (alle FPs), dividiert durch die Gesamtzahl der Personen, bei denen eine Krankheit festgestellt wurde (einschließlich aller FPs und TPs) ).

$$FDR = \frac{FP}{FP + TP}$$

---

Der Unterschied liegt also im Nenner, dh womit vergleichen Sie die Anzahl der Fehlalarme?

Die FPR teilt Ihnen den Anteil aller Menschen mit, bei denen die Krankheit nicht vorliegt und die als erkrankt eingestuft werden.

Der FDR gibt Ihnen den Anteil aller Personen an, bei denen die Krankheit festgestellt wurde und die nicht an der Krankheit leiden.

Beides sind daher nützliche, unterschiedliche Versagensmaßnahmen. Abhängig von der Situation und den Proportionen von TPs, FPs, TNs und FNs interessieren Sie sich möglicherweise mehr für das eine als für das andere.

---

Lassen Sie uns jetzt einige Zahlen dazu setzen. Sie haben 100 Personen auf die Krankheit untersucht und erhalten Folgendes:

True Positives (TPs) : 12

False Positives (FPs) : 4

Wahre Negative (TNs) : 76

Falsche Negative (FNs) : 8

So zeigen Sie dies mithilfe der Verwirrungsmatrix:

Dann,

$$FPR = \frac{FP}{FP + TN} = \frac{4}{4 + 76} = \frac{4}{80} = 0.05 = 5\%$$

$$FDR = \frac{FP}{FP + TP} = \frac{4}{4 + 12} = \frac{4}{16} = 0.25 = 25\%$$

Mit anderen Worten,

Die FPR sagt Ihnen, dass 5% der Menschen, die die Krankheit nicht hatten, als an der Krankheit erkrankt identifiziert wurden. Dem FDR zufolge hatten 25% der Menschen, bei denen die Krankheit festgestellt wurde, die Krankheit tatsächlich nicht.

---

BEARBEITEN basierend auf @ amoebas Kommentar (auch die Zahlen im obigen Beispiel):

Warum ist die Unterscheidung so wichtig? In dem Artikel, auf den Sie verweisen, weisen Storey & Tibhshirani darauf hin, dass in genomweiten Studien ein starker Fokus auf die FPR (oder Typ-I-Fehlerrate) gelegt wurde und dies zu fehlerhaften Schlussfolgerungen führte. Dies liegt daran, dass Sie, wenn Sie durch das Korrigieren des FPR signifikante Ergebnisse gefunden haben, wirklich überlegen müssen, wie viele Ihrer signifikanten Ergebnisse falsch sind. Im obigen Beispiel wären 25% der "signifikanten Ergebnisse" falsch gewesen!$n$

[Randbemerkung: Wikipedia weist darauf hin, dass die FPR zwar mathematisch der Fehlerrate des Typs I entspricht, jedoch konzeptionell als unterschiedlich angesehen wird, da die eine in der Regel von vornherein festgelegt wird, während die andere in der Regel zur Messung der Leistung eines Tests im Nachhinein verwendet wird. Dies ist wichtig, aber darauf werde ich hier nicht eingehen.

---

Und für ein bisschen mehr Vollständigkeit:

Offensichtlich sind FPR und FDR nicht die einzigen relevanten Metriken, die Sie mit den vier Größen in der Verwirrungsmatrix berechnen können. Von den vielen möglichen Metriken, die in verschiedenen Kontexten nützlich sein können , sind zwei relativ häufig anzutreffende:

True Positive Rate (TPR) , auch bekannt als Sensitivität , ist der Anteil der Menschen, bei denen die Krankheit festgestellt wurde, dass sie an der Krankheit leiden.

$$TPR = \frac{TP}{TP + FN}$$

True Negative Rate (TNR) , auch als Spezifität bezeichnet , ist der Anteil der Menschen, bei denen die Krankheit nicht auftritt und bei denen festgestellt wird, dass sie nicht an der Krankheit leiden.

$$TNR = \frac{TN}{TN + FP}$$

Sie sollten die Tabelle in https://en.wikipedia.org/wiki/Confusion_matrix untersuchen . Bitte beachten Sie, dass FPR vertikal platziert ist, während FDR horizontal ist.

• FP passiert, wenn Ihre Nullhypothese wahr ist, Sie sie jedoch ablehnen
• FD passiert, wenn Sie etwas Bedeutendes vorhersagen, dies aber nicht tun sollten