Interpretation der Kalibrierkurve

7

Ich habe ein schrittweise abgeleitetes binäres logistisches Regressionsmodell. Ich habe die calibrate(, bw=200, bw=TRUE)Funktion im rmsPaket in R verwendet, um die zukünftige Kalibrierung abzuschätzen. Die Ausgabe ist unten angegeben und zeigt die durch die Bootstrap-Überanpassung korrigierte Kalibrierungskurvenschätzung für das logistische Rückwärts-Abwärtsmodell. Ich bin mir jedoch nicht sicher, wie ich es interpretieren soll.

Geben Sie hier die Bildbeschreibung ein

Ich verstehe, dass sich die Kalibrierung darauf bezieht, ob die zukünftig vorhergesagten Wahrscheinlichkeiten mit den beobachteten Wahrscheinlichkeiten übereinstimmen. Vorhersagemodelle leiden darunter, dass Vorhersagen für neue Probanden zu extrem sind (dh dass die beobachtete Wahrscheinlichkeit des Ergebnisses höher ist als für Probanden mit geringem Risiko vorhergesagt und niedriger als für Probanden mit hohem Risiko vorhergesagt). Dies wird durch Verfolgen der gepunkteten Kurve gesehen, die höher als das Ideal (gestrichelt) für eine Gruppe mit geringem Risiko und niedriger als das Ideal für eine Gruppe mit hohem Risiko ist.

Mit der gleichen Überlegung scheint die vorspannungskorrigierte Kurve in dem Sinne schlechter zu sein, dass sie noch extremere Wahrscheinlichkeiten erzeugt. Ist meine Interpretation korrekt?

Abbas
quelle
1
bw=200sollte lesenbw=TRUE
Frank Harrell

Antworten:

2

Die mit bias-corrected" Beschriftung " bezeichnete Kurve scheint "zu zuversichtlich" zu sein: Ihre Vorhersagen für Predicted P(Class=1)<0.5sind zu niedrig und ihre Vorhersagen für Predicted P(Class=1)>0.5sind im Vergleich zu zu hoch Actual probability.

Dies gilt auch für die beschriftete Kurve apparent, außer an den Extremen (ungefähr: x <= 0,28 oder x> = 0,9) scheint sie tatsächlich sicher zu sein. less

Ich bin mir nicht sicher über die Details der Bias-Korrekturmethode in rms, aber ich denke nicht, dass das Ergebnis notwendigerweise "schlechter" ist. Mit der Korrektur sind die Wahrscheinlichkeitsschätzungen parallel zum Ideal. Mit anderen Worten, obwohl bekannt ist, dass das Modell leicht übermütig ist, können wir sagen, dass der Unterschied zwischen seiner mittleren Vorhersage für eine Population mit P (Klasse) = 0,2 die Hälfte seiner mittleren Vorhersage für eine Population mit P (Klasse) = 0,4 ist , was vorher nicht der Fall war und wahrscheinlich das, worauf man hoffen würde.

user0
quelle
1
Ich würde den letzten Absatz nicht hervorheben, sonst nette Antwort @ user99889. Die durch Bootstrap-Überanpassung korrigierte Kalibrierungskurve zeigt, dass eine Überanpassung vorliegt und dass die scheinbare Anpassung optimistisch gut ist. Die Bootstrap-korrigierten Kurven sind fast immer weiter von der 45-Grad-Linie entfernt als die scheinbaren Kurven. Insgesamt würde ich sagen, dass eine moderate Überanpassung vorliegt und die Ergebnisse für den Feldeinsatz wahrscheinlich nicht akzeptabel sind, wenn Risikoschätzungen erforderlich sind.
Frank Harrell