Ausreißererkennung mittels Regression

Kann die Regression zur Erkennung von Lier verwendet werden? Ich verstehe, dass es Möglichkeiten gibt, ein Regressionsmodell durch Entfernen der Ausreißer zu verbessern. Das Hauptziel hierbei ist jedoch nicht, ein Regressionsmodell anzupassen, sondern mithilfe der Regression die Liers herauszufinden

Die beste Option zur Verwendung der Regression zum Auffinden von Ausreißern ist die Verwendung einer robusten Regression.

Die normale Regression kann von Ausreißern auf zwei Arten beeinflusst werden:

$\bar x$

Zweitens ist eine "äußere" Beobachtung im x-Raum eine einflussreiche Beobachtung - sie kann die Anpassung der Linie in diese Richtung ziehen. Wenn es weit genug entfernt ist, geht die Linie durch den einflussreichen Punkt:

In der linken Darstellung gibt es einen Punkt, der ziemlich einflussreich ist und der die Linie ziemlich weit von der großen Masse der Daten entfernt. In der richtigen Darstellung wurde es noch weiter entfernt - und jetzt geht die Linie durch den Punkt. Wenn der x-Wert so extrem ist, bewegt sich die Linie beim Auf- und Abbewegen des Punktes mit, wobei der Mittelwert der anderen Punkte und der eine einflussreiche Punkt durchlaufen werden.

Ein einflussreicher Punkt, der perfekt mit dem Rest der Daten übereinstimmt, ist möglicherweise kein so großes Problem, aber einer, der weit von einer Linie durch den Rest der Daten entfernt ist, passt die Linie eher an sie als an die Daten an.

Wenn Sie sich das Diagramm auf der rechten Seite ansehen, zeigt die rote Linie - die Regressionslinie der kleinsten Quadrate - den Extrempunkt überhaupt nicht als Ausreißer - ihr Residuum ist 0. Stattdessen befinden sich die großen Residuen der Linie der kleinsten Quadrate in der Hauptteil der Daten!

Dies bedeutet, dass Sie einen Ausreißer komplett übersehen können .

Schlimmer noch, bei multipler Regression kann ein Ausreißer im x-Raum für eine einzelne x-Variable nicht besonders ungewöhnlich aussehen. Wenn die Möglichkeit eines solchen Punktes besteht, ist es möglicherweise sehr riskant, die Regression der kleinsten Quadrate zu verwenden.

Robuste Regression

Wenn Sie eine robuste Linie - insbesondere eine robuste Linie für einflussreiche Ausreißer - wie die grüne Linie im zweiten Diagramm anpassen - hat der Ausreißer einen sehr großen Rest.

In diesem Fall haben Sie die Hoffnung, Ausreißer zu identifizieren - dies sind Punkte, die in gewissem Sinne nicht nahe an der Linie liegen.

Ausreißer entfernen

Sie können sicherlich eine robuste Regression verwenden, um Ausreißer zu identifizieren und dadurch zu entfernen.

Sobald Sie jedoch eine robuste Regressionsanpassung haben, die bereits nicht stark von Ausreißern betroffen ist, müssen Sie die Ausreißer nicht unbedingt entfernen - Sie haben bereits ein Modell, das gut passt.

Kann die Regression zur Erkennung von Ausreißern verwendet werden?

Ja. Diese Antwort und die Antwort von Glen_b sprechen dies an.

Das Hauptziel hierbei ist nicht, ein Regressionsmodell anzupassen, sondern mithilfe der Regression die Liers herauszufinden

Aufbauend auf Roman Lustriks Kommentar ist hier eine Heuristik, um Ausreißer mithilfe der (multiplen linearen) Regression zu finden.

$n$

1. $n$ $r_{total}$

2. $r_i$

3. $r_i$$r_tot$$i$$r_i << r_{total}$$i$

Wenn Sie diese Ausreißerpunkte beiseite lassen, können Sie die gesamte Übung mit der reduzierten Stichprobe wiederholen. Im Algorithmus wählen wir Beispiele in den Daten aus, die die Regressionsanpassung auf schlechte Weise beeinflussen (dies ist eine Möglichkeit, ein Beispiel als Ausreißer zu kennzeichnen).