Ich habe 100.000 Beobachtungen (9 Dummy-Indikatorvariablen) mit 1000 positiven. Die logistische Regression sollte in diesem Fall gut funktionieren, aber die Cutoff-Wahrscheinlichkeit verwirrt mich.
In der allgemeinen Literatur wählen wir einen Cutoff von 50%, um Einsen und Nullen vorherzusagen. Ich kann dies nicht tun, da mein Modell einen Maximalwert von ~ 1% ergibt. Ein Schwellenwert kann also bei 0,007 oder irgendwo um ihn herum liegen.
Ich verstehe ROCKurven und wie der Bereich unter der Kurve mir helfen kann, zwischen zwei LR-Modellen für denselben Datensatz zu wählen. ROC hilft mir jedoch nicht bei der Auswahl einer optimalen Grenzwahrscheinlichkeit, mit der das Modell an Daten außerhalb der Stichprobe getestet werden kann.
Sollte ich einfach einen Grenzwert verwenden, der den minimiert misclassification rate? ( http://www2.sas.com/proceedings/sugi31/210-31.pdf )
Hinzugefügt -> Bei einer so niedrigen Ereignisrate werden meine Fehlklassifizierungsraten durch eine große Anzahl von Fehlalarmen beeinflusst. Zwar scheint die Rate insgesamt gut zu sein, da die Gesamtgröße des Universums ebenfalls groß ist, aber mein Modell sollte nicht so viele Fehlalarme aufweisen (da es sich um ein Investment-Return-Modell handelt). 5/10 Koeffizienten sind signifikant.
Antworten:
Ich bin nicht der Meinung, dass ein Cutoff von 50% entweder von Natur aus gültig ist oder von der Literatur unterstützt wird. Der einzige Fall, in dem ein solcher Grenzwert gerechtfertigt sein könnte, ist ein Fall-Kontroll-Design, bei dem die Prävalenz des Ergebnisses genau 50% beträgt, aber selbst dann würde die Auswahl einigen Bedingungen unterliegen. Ich denke, der Hauptgrund für die Wahl des Grenzwerts ist die gewünschte Betriebseigenschaft des diagnostischen Tests.
Ein Grenzwert kann gewählt werden, um eine gewünschte Empfindlichkeit oder Spezifität zu erreichen. Ein Beispiel hierfür finden Sie in der Literatur zu Medizinprodukten. Die Empfindlichkeit wird häufig auf einen festen Wert eingestellt: Beispiele sind 80%, 90%, 95%, 99%, 99,9% oder 99,99%. Der Kompromiss zwischen Sensitivität und Spezifität sollte mit den Schäden durch Fehler vom Typ I und Typ II verglichen werden. Wie bei statistischen Tests ist der Schaden eines Fehlers vom Typ I häufig größer, und daher kontrollieren wir dieses Risiko. Dennoch sind diese Schäden selten quantifizierbar. Aus diesem Grund habe ich große Einwände gegen Cut-Off-Auswahlmethoden, die auf einem einzigen Maß für die Vorhersagegenauigkeit beruhen: Sie vermitteln fälschlicherweise, dass Schäden quantifiziert werden können und wurden.
Ihr Problem mit zu vielen Fehlalarmen ist ein Beispiel für das Gegenteil: Typ-II-Fehler können schädlicher sein. Anschließend können Sie den Schwellenwert festlegen, um eine gewünschte Spezifität zu erreichen, und die erreichte Empfindlichkeit bei diesem Schwellenwert angeben.
Wenn Sie feststellen, dass beide zu niedrig sind, um für die Praxis akzeptabel zu sein, funktioniert Ihr Risikomodell nicht und sollte abgelehnt werden.
Sensitivität und Spezifität lassen sich leicht über einen ganzen Bereich möglicher Grenzwerte berechnen oder aus einer Tabelle nachschlagen. Das Problem mit dem ROC besteht darin, dass die spezifischen Grenzinformationen in der Grafik weggelassen werden. Der ROC ist daher für die Auswahl eines Grenzwerts irrelevant.
quelle