Residuen für logistische Regression und Cooks Distanz

1. Gibt es bestimmte Annahmen bezüglich der Fehler für die logistische Regression, wie die konstante Varianz der Fehlerterme und die Normalität der Residuen?

2. Entfernen Sie diese normalerweise auch, wenn Sie Punkte haben, deren Kochabstand größer als 4 / n ist? Wenn Sie sie entfernen, wie können Sie feststellen, ob das Modell mit den entfernten Punkten besser ist?

Ich weiß nicht, ob ich Ihnen eine vollständige Antwort geben kann, aber ich kann Ihnen einige Gedanken geben, die hilfreich sein können. Erstens haben alle statistischen Modelle / Tests Annahmen. Die logistische Regression setzt jedoch nicht voraus, dass die Residuen normal verteilt sind oder dass die Varianz konstant ist. Vielmehr wird angenommen, dass die Daten als Binomial , dh mit der Anzahl der Bernoulli-Versuche gleich der Anzahl der Beobachtungen bei genau diesem Satz von Kovariatenwerten und mit dem Wahrscheinlichkeit, die mit diesem Satz von kovariaten Werten verbunden ist. Denken Sie daran, dass die Varianz eines Binomials n p $\mathcal{B}(n_{x_i},p_{x_i})$ . Wenn also die n auf verschiedenen Ebenen der Kovariate variieren, werden auch die Varianzen variieren. Wenn sich eine der Kovariaten überhaupt auf die Antwortvariable bezieht, variieren die Wahrscheinlichkeiten und damit auch die Varianzen. Dies sind wichtige Fakten zur logistischen Regression. $np(1-p)$$n$

$R^2$$R^2$$R^2$$R^2$$R^2$$R^2$s und die Jackknifed-Verteilungen, da Sie diese Daten ausgewählt haben, um sie auszuschließen, da sie extrem erscheinen.

1) Gibt es bestimmte Annahmen bezüglich der Fehler für die logistische Regression, wie die konstante Varianz der Fehlerterme und die Normalität der Residuen?

Logistische Regressionsmodelle weisen keine "Fehler" im herkömmlichen Sinne auf. Es ist sowohl kontraintuitiv als auch methodisch inkonsistent. Die Modellergebnisse sind angepasste Wahrscheinlichkeiten oder Risiken, während die beobachteten Ergebnisse 0/1 Ereignisindikatoren sind. Methodisch tendieren Sie dazu, Bereiche mit sehr hohen oder sehr niedrigen Anpassungswahrscheinlichkeiten zu unterschätzen (was sehr kleine Beträge zum Restabstand beiträgt), während der Modellanpassungsalgorithmus solchen Regionen eine erheblich höhere Bedeutung beimisst. Die quadratische Entfernung ist im Allgemeinen eine schlechte Methode zur Kalibrierung eines logistischen Regressionsmodells.

Ein alternativer Anpassungstest ist der Hosmer-Lemeshow-Test, bei dem die angepassten Werte verwendet werden, um gruppierte Partitionen basierend auf Dezilen des angepassten Risikos zu erstellen. Sie können über diesen Test in Alan Agrestis Categorical Data Analysis oder im Buch Logistic Regression von Hosmer und Lemeshow lesen. Ein anderer Prozess besteht darin, die studentisierten Residuen zu verwenden, wobei die mittlere Varianzbeziehung verwendet wird, um Residuen durch ihre angepasste inverse Varianz neu zu gewichten . Für die logistische Regression ist dies

2) Entfernen Sie diese normalerweise auch, wenn Sie Punkte haben, deren Kochabstand größer als 4 / n ist? Wenn Sie sie entfernen, wie können Sie feststellen, ob das Modell mit den entfernten Punkten besser ist?

Ich entferne niemals Punkte, die auf Sensitivitätsanalysen basieren. Wenn ich eine Zufallsstichprobe von 100 Personen und deren Einkommen mache und 1 Person zufällig ein Milliardär ist, dann ist meine sicherste Annahme, dass 1 Milliardär 1/100 der Bevölkerung repräsentiert.

Ich stimme dem obigen Kommentar von AdamO im Allgemeinen zu - vorausgesetzt, 1 Milliardär repräsentiert 1/100 der Bevölkerung, ist völlig in Ordnung. Wenn jedoch die Anwesenheit des 1-Milliardärs die Daten so stark verzerrt, dass die Vorhersage für die anderen 99 Personen beeinträchtigt wird, würde ich den 1-Milliardär entfernen. Ich würde mich lieber mit der Vorhersage eines Ausreißers irren als mit allen anderen.

Wenn Sie jedoch Datenpunkte mit Cooks D-Werten entfernen (dh alles> 4 / df), können Sie die Fläche unter den ROC-Kurven für beide Modelle verwenden, um nach Verbesserungen zu suchen.