Was sind die korrekten Werte für Präzision und Rückruf in Randfällen?

20

Präzision ist definiert als:

p = true positives / (true positives + false positives)

Ist es richtig, dass sich die Genauigkeit 1 nähert true positivesund false positivessich 0 nähert?

Gleiche Frage zum Rückruf:

r = true positives / (true positives + false negatives)

Ich führe derzeit einen statistischen Test durch, bei dem ich diese Werte berechnen muss. Manchmal ist der Nenner 0, und ich frage mich, welcher Wert für diesen Fall zurückgegeben werden soll.

PS: Entschuldigen Sie das unpassende Tag, das ich verwenden wollte recall, precisionund limit, aber ich kann noch keine neuen Tags erstellen.

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon Björn Pollex
quelle
Ich glaube nicht, dass wir ein Limit-Tag brauchen.
Vermutlich versuchen Sie, die Leistung eines Diagnoseverfahrens zu quantifizieren. Gibt es einen Grund, warum Sie keine geeignete Metrik für die Signalerkennungstheorie wie d ', A' oder Fläche unter der ROC-Kurve verwenden?
Mike Lawrence
3
@Mike, Präzision und Abruf sind gängige Auswertungsmetriken, z. B. beim Abrufen von Informationen, bei denen ROC oder insbesondere Spezifität umständlich zu verwenden ist, da Sie bereits eine hohe Anzahl von Fehlalarmen erwarten.
user979

Antworten:

17

Gegeben eine Verwirrungsmatrix:

            predicted
            (+)   (-)
            ---------
       (+) | TP | FN |
actual      ---------
       (-) | FP | TN |
            ---------

Wir wissen das:

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

Betrachten wir die Fälle, in denen der Nenner Null ist:

  • TP + FN = 0: bedeutet, dass die Eingabedaten keine positiven Fälle enthalten
  • TP + FP = 0: bedeutet, dass alle Instanzen als negativ vorhergesagt wurden
Amro
quelle
9
Erweitern Sie Ihre Antwort: Wenn TP = 0 (wie in beiden Fällen), ist der Rückruf 1, da die Methode alle nicht zutreffenden positiven Ergebnisse ermittelt hat. Die Genauigkeit ist 0, wenn FP vorhanden ist, und 1, wenn nicht.
11

Die Antwort lautet Ja. Die undefinierten Kantenfälle treten auf, wenn True Positives (TP) 0 sind, da dies im Nenner von P & R liegt. In diesem Fall

  • Rückruf = 1 bei FN = 0, da 100% des TP entdeckt wurden
  • Präzision = 1 bei FP = 0, da keine falschen Ergebnisse vorliegen

Dies ist eine Neuformulierung des Kommentars von @ mbq.

John Lehmann
quelle
3

Ich kenne verschiedene Begriffe. Was Sie Präzision nennen, würde ich als positiven Vorhersagewert (PPV) bezeichnen. Und was Sie erinnern nennen, würde ich Sensibilität (Sens) nennen. :

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

Im Falle der Empfindlichkeit (Rückruf) gibt es KEINE positiven Fälle, wenn der Nenner Null ist (wie Amro betont), so dass die Klassifizierung bedeutungslos ist. (Das heißt nicht, dass TP oder FN gleich Null sind, was zu einer Grenzempfindlichkeit von 1 oder 0 führen würde. Diese Punkte befinden sich jeweils in der oberen rechten und unteren linken Ecke der ROC-Kurve - TPR = 1 und TPR = 0. )

Die Grenze von PPV ist jedoch sinnvoll. Es ist möglich, dass die Testgrenze so hoch (oder niedrig) eingestellt wird, dass alle Fälle als negativ vorhergesagt werden. Dies ist der Ursprung der ROC-Kurve. Der Grenzwert des PPV kurz vor dem Erreichen des Ursprungs kann geschätzt werden, indem das letzte Segment der ROC-Kurve kurz vor dem Ursprung betrachtet wird. (Dies ist möglicherweise besser zu modellieren, da ROC-Kurven bekanntermaßen verrauscht sind.)

Wenn es zum Beispiel 100 tatsächliche Positive und 100 tatsächliche Negative gibt und sich der endgültige Segnemt der ROC-Kurve von TPR = 0,08, FPR = 0,02 nähert, dann wäre der Grenz-PPV PPR ~ 0,08 * 100 / (0,08 * 100 + 0,02 * 100 ) = 8/10 = 0,8, dh 80% Wahrscheinlichkeit, wirklich positiv zu sein.

In der Praxis wird jede Stichprobe durch ein Segment in der ROC-Kurve dargestellt - horizontal für ein tatsächliches Negativ und vertikal für ein tatsächliches Positiv. Man könnte den Grenz-PPV durch das allerletzte Segment vor dem Ursprung abschätzen, aber dies würde einen geschätzten Grenz-PPV von 1, 0 oder 0,5 ergeben, abhängig davon, ob die letzte Stichprobe ein wahres positives, ein falsches positives (tatsächliches negatives) oder ein gemachtes Muster war eines gleichen TP und FP. Ein Modellierungsansatz wäre besser, wenn die Daten möglicherweise binormal sind - eine häufige Annahme, z. B .: http://mdm.sagepub.com/content/8/3/197.short

Thylacoleo
quelle
1

Das hängt davon ab, was Sie unter "Annäherung an 0" verstehen. Wenn sowohl falsch-positive als auch falsch-negative Werte schneller gegen Null gehen als wahr-positive, dann bejahen Sie beide Fragen. Aber sonst nicht unbedingt.

Rob Hyndman
quelle
Ich kenne die Rate wirklich nicht. Um ehrlich zu sein, ist alles, was ich weiß, dass mein Programm mit einer Division durch Null abgestürzt ist und dass ich diesen Fall irgendwie behandeln muss.
Björn Pollex