Cooks Distanz bei der Erkennung von Ausreißern

Nach meinem Verständnis misst Cooks Abstand den Einfluss jeder Beobachtung, indem Punkte bei der Anpassung eines Modells ausgeschlossen werden. Ich gehe also davon aus, dass dies ein vernünftiger Ansatz für die Erkennung von Ausreißern sein könnte.

Meine Fragen, vorausgesetzt, die Daten sind in Gruppen eingeteilt. Ist es möglich, Cooks Entfernung zum Erkennen der "Ausreißer" -Gruppe anstelle des Ausreißerpunkts zu verwenden? Ist Cooks Abstand eine gute Wahl für den Einfluss von Messgruppen?

mixed-model outliers group-differences cooks-distance Roy C.
quelle

Können Sie eine Faktorvariable für die Gruppierung erstellen und dann Diagramme erstellen?

Jchaykow

Vielen Dank, ich habe gerade bemerkt, dass es eine Gruppenoption gibt influence(). Ich habe noch eine Frage zur Schwelle. Da das übliche 4 / N "zu empfindlich" ist, erkennt man Ausreißer, während ich mich nur um extrem einflussreiche Gruppen / Punkte kümmere. @ Jchaykow

Roy C

Für kleinere Datensätze kann Cooks D-Cutoff 1 sein.

jchaykow

@jchaykow Es funktioniert gut mit einigen meiner Datensätze, aber nicht wirklich kleinen Datensätzen. Ich werde es später bei anderen versuchen. Ist es eine Faustregel und wie soll ich diesen Cutoff interpretieren? Vielen Dank.

Roy C

Antworten:

Wie Sie sagten, misst Cook's Distance die Änderung der Regression, indem jeder einzelne Punkt entfernt wird. Wenn sich die Dinge durch das Weglassen eines einzelnen Punktes erheblich ändern, hatte dieser Punkt großen Einfluss auf Ihr Modell. Definieren Sie als den angepassten Wert für die j-te Beobachtung, wenn die i-te Beobachtung aus dem Datensatz gelöscht wird. Cook's Distance misst, wie sehr alle Vorhersagen ändere. $\hat{Y}_{j(i)}$ $i$

D_{i} = \frac{\sum_{j = 1}^{n} {\hat{Y}}_{j} - {\hat{Y}}_{j (i)})^{2}}{p M S E}

$D_i = \frac{\sum_{j=1}^{n}\hat{Y}_j - \hat{Y}_{j(i)})^2}{pMSE}$

= \frac{e_{i}^{2}}{p M S E} [\frac{h_{i i}}{(1 - h_{i i})^{2}}]

$= \frac{e_i^2}{pMSE}[\frac{h_{ii}}{(1-h_{ii})^2}]$

Wenn , ist es extrem (für kleine bis mittlere Datensätze). $D_i \geq 1$

Cook's Distance zeigt die Auswirkung des i-ten Falls auf alle angepassten Werte. Beachten Sie, dass der i-te Fall durch beeinflusst werden kann

großes und mäßiges $e_i$ $h_{ii}$
mäßiges und großes $e_i$ $h_{ii}$
big und big $e_i$ $h_{ii}$

Verwenden Sie in R das influence.measuresPaket mitcooks.distance(model)

jchaykow
quelle

Vielen Dank für die Klarstellung der Definition. Aber meine Frage ist mehr darüber, ob der

Roy C

@DaisyLee Ihr Kommentar wurde abgeschnitten

jchaykow

Lol, habe gerade bemerkt, dass du es bist. Vielen Dank für die Klarstellung der Definition. Ich möchte fragen, ob die Idee, die Verwendung von Cooks Entfernung zur Erkennung der Ausreißergruppe anstelle einiger Punkte zu erweitern, falsch oder vernünftig ist. Und wie denken Sie über die Verwendung von Boxplot / IQR, um extrem einflussreiche Kochentfernungen zu verringern?

Roy C

Die Verwendung von Cook's Distance funktioniert je nach Art der Methode nicht (dh jeder Punkt wird einzeln entfernt). Wenn Sie einfach mit sd oder einer ähnlichen Methode wie oben angegeben nach Ausreißern einer Variablen suchen möchten, die auf Ihren Gruppen basiert, ist dies kein Problem ... df1 = df%>% group_by (Gruppierung)%>% filter (! ( abs (Wert - Median (pred1))> 2 * sd (pred1))%>% summary_each (funs (Mittelwert), pred1)

jchaykow

@DaisyLee darüber hinaus habe ich leider keine Ideen mehr. Vielleicht kann jemand anderes mehr helfen.

Jchaykow

Cooks D ist bei der Erkennung von Ausreißerclustern unwirksam, da das Entfernen eines dieser Ausreißer das Modell nicht zu stark beeinflusst (es gibt noch andere Ausreißer).

Sie können den Rest als Maß verwenden, das für Cluster empfindlich ist. Eine einfache Implementierung von k-means ist ebenfalls effektiv.

Hallo Welt
quelle