Berechnen Sie die ROC-Kurve für Daten

Ich habe also 16 Studien, in denen ich versuche, eine Person anhand eines biometrischen Merkmals mithilfe von Hamming Distance zu authentifizieren. Mein Schwellenwert ist auf 3,5 eingestellt. Meine Daten sind unten und nur Versuch 1 ist ein wahres Positiv:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Mein Punkt der Verwirrung ist, dass ich wirklich unsicher bin, wie ich aus diesen Daten eine ROC-Kurve (FPR vs. TPR ODER FAR vs. FRR) erstellen soll. Es ist nicht wirklich wichtig, welches, aber ich bin nur wirklich verwirrt darüber, wie ich es berechnen soll. Jede Hilfe wäre dankbar.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction Rohanbk
quelle

Hier stats.stackexchange.com/a/105577/49130 finden Sie einige zusätzliche Informationen zum Zeichnen einer ROC-Kurve

Alexey Grigorev

Antworten:

Ich schlage ROC-Grafiken vor: Hinweise und praktische Überlegungen für Forscher von Tom Fawcett, wirklich eine ausgezeichnete Lektüre. Soweit ich Ihre Frage verstehe, finden Sie in diesem Dokument alles, was Sie brauchen.

Bearbeiten: Inspiriert von Adam Ich möchte auch mein Lieblings-R-Paket für diese Aufgabe empfehlen : ROCR .

steffen
quelle

Kennen Sie gute Matlab-Pakete, mit denen Sie Ihre Arbeit erledigen können?

Rohanbk

@rohanbk Sorry, nein. Es ist lange her, dass ich Matlab benutzt habe.

steffen

@ Steffen Link ist kaputt.

Alleo

@Alleo danke für die Benachrichtigung, der Link zeigt jetzt auf Citeseer (wo PDF verfügbar ist) ... dies sollte länger dauern.

steffen

Warum möchten Sie eine ROC-Kurve erstellen? Möchten Sie die Kurve für Ihre abhängigen Variablen grafisch darstellen oder möchten Sie sie als Teststatistik verwenden, um die Genauigkeit Ihrer Wahrscheinlichkeitsvorhersagen zu messen (in diesem Fall suchen Sie nach der AUC [Bereich unter der Kurve] ).

Wenn Sie mit R vertraut sind, bietet das Überprüfungspaket in R zwei nützliche Funktionen: roc.plot (), mit dem Sie Ihre ROC-Kurve zeichnen können, und roc.area (), mit dem Sie berechnen können die AUC.

Adam
quelle

Kennen Sie gute Matlab-Pakete, mit denen Sie Ihre Arbeit erledigen können?

Rohanbk