Wie lassen sich Ausreißer in multivariaten Daten am besten identifizieren?

Angenommen, ich habe einen großen Satz multivariater Daten mit mindestens drei Variablen. Wie finde ich die Ausreißer? Paarweise Streudiagramme funktionieren nicht, da es möglich ist, dass ein Ausreißer in drei Dimensionen existiert, der in keinem der zweidimensionalen Teilräume ein Ausreißer ist.

Ich denke nicht an ein Regressionsproblem, sondern an echte multivariate Daten. Antworten, die eine robuste Regression oder Rechenleistung beinhalten, sind daher nicht hilfreich.

Eine Möglichkeit wäre, die Hauptkomponentenwerte zu berechnen und im bivariaten Streudiagramm der ersten beiden Werte nach einem Ausreißer zu suchen. Würde das garantiert funktionieren? Gibt es bessere Ansätze?

Schauen Sie sich das mvoutlier- Paket an, das auf bestellten robusten Mahalanobis-Entfernungen basiert, wie von @drknexus vorgeschlagen.

Ich denke, Robin Girards Antwort würde für 3 und möglicherweise 4 Dimensionen ziemlich gut funktionieren, aber der Fluch der Dimensionalität würde verhindern, dass es darüber hinaus funktioniert. Sein Vorschlag führte mich jedoch zu einem verwandten Ansatz, der darin besteht, die kreuzvalidierte Kerneldichteschätzung auf die ersten drei Hauptkomponentenbewertungen anzuwenden. Dann kann ein sehr hochdimensionaler Datensatz noch in Ordnung gehandhabt werden.

Zusammenfassend gilt für i = 1 bis n

1. Berechnen Sie eine Dichteschätzung der ersten drei Hauptkomponentenbewertungen, die aus dem Datensatz ohne Xi erhalten wurden.
2. Berechnen Sie die Wahrscheinlichkeit von Xi für die in Schritt 1 geschätzte Dichte. Nennen Sie es Li.

Ende für

Sortieren Sie das Li (für i = 1, .., n) und die Ausreißer sind diejenigen, deren Wahrscheinlichkeit unter einem bestimmten Schwellenwert liegt. Ich bin mir nicht sicher, was eine gute Schwelle wäre - das überlasse ich jedem, der die Zeitung darüber schreibt! Eine Möglichkeit besteht darin, ein Boxplot der Log-Werte (Li) zu erstellen und zu sehen, welche Ausreißer am negativen Ende erkannt werden.

Eine pädagogische Zusammenfassung der verschiedenen Methoden finden Sie in (1).

Für einige numerische Vergleiche der verschiedenen dort aufgelisteten Methoden können Sie (2) und (3) überprüfen .

Es gibt viele ältere (und weniger erschöpfende) numerische Vergleiche, die typischerweise in Büchern zu finden sind. Sie finden sie beispielsweise auf den Seiten 142-143 von (4).

Beachten Sie, dass alle hier diskutierten Methoden eine Open Source R-Implementierung haben, hauptsächlich über das rrcov- Paket.

• (1) P. Rousseeuw und M. Hubert (2013) Hochauflösende Schätzer für multivariate Position und Streuung.
• (2) M. Hubert, P. Rousseeuw, K. Vakili (2013). Formverzerrung robuster Kovarianzschätzer: eine empirische Studie. Statistische Papiere.
• (3) K. Vakili und E. Schmitt (2014). Finden multivariater Ausreißer mit FastPCS. Computerstatistik & Datenanalyse.
• (4) Maronna RA, Martin RD und Yohai VJ (2006). Robuste Statistik: Theorie und Methoden. Wiley, New York.

Ich würde eine Art "einen Testalgorithmus weglassen" (n ist die Anzahl der Daten):

für i = 1 bis n

1. Berechnen einer Dichteschätzung des Datensatzes, der durch Wegwerfen von wird$X_i$ . (Diese Dichteschätzung sollte mit einer gewissen Annahme durchgeführt werden, wenn die Dimension hoch ist, beispielsweise mit einer Gaußschen Annahme, für die die Dichteschätzung einfach ist: Mittelwert und Kovarianz.)
2. Berechnen Sie die Wahrscheinlichkeit von für die in Schritt 1 geschätzte Dichte$X_i$ . nenne es .$L_i$

Ende für

sortiere das (für i = 1, .., n) und benutze ein Testverfahren mit mehreren Hypothesen, um zu sagen, welche nicht gut sind ...$L_i$

Dies funktioniert, wenn n ausreichend groß ist. Sie können auch die "Auslassstrategie" verwenden, die relevanter sein kann, wenn Sie "Gruppen" von Ausreißern haben.

Sie können Kandidaten für "Ausreißer" unter den Stützpunkten des Ellipsoids mit minimaler Volumenbegrenzung finden. ( Effiziente Algorithmen , um diese Punkte in relativ hohen Dimensionen genau und ungefähr zu finden, wurden in den 1970er Jahren in einer Reihe von Arbeiten erfunden, da dieses Problem eng mit einer Frage im experimentellen Design verbunden ist.)

Mein neuartiger Ansatz war IT Jolliffe Principal Components Analysis . Sie führen eine PCA für Ihre Daten aus (Hinweis: PCA kann für sich genommen ein nützliches Tool zur Datenexploration sein). Statt jedoch die ersten paar Hauptkomponenten (Principal Components, PCs) zu betrachten, zeichnen Sie die letzten paar PCs. Diese PCs sind die linearen Beziehungen zwischen Ihren Variablen mit der kleinstmöglichen Varianz. Somit erkennen sie "exakte" oder nahezu exakte multivariate Beziehungen in Ihren Daten.

Eine grafische Darstellung der PC-Ergebnisse für den letzten PC zeigt Ausreißer an, die nicht leicht zu erkennen sind, wenn jede Variable einzeln betrachtet wird. Ein Beispiel ist für Größe und Gewicht - einige, die eine "überdurchschnittliche" Größe und ein "unterdurchschnittliches" Gewicht haben, würden vom letzten PC für Größe und Gewicht erkannt (vorausgesetzt, diese sind positiv korreliert), selbst wenn ihre Größe und ihr Gewicht nicht " extrem "einzeln (zB jemand der 180cm und 60kg war).

Ich habe niemanden gesehen, der Einflussfunktionen erwähnte . Ich habe diese Idee zum ersten Mal in Gnanadesikans multivariatem Buch gesehen .

In einer Dimension ist ein Ausreißer entweder ein extrem großer oder ein extrem kleiner Wert. Bei der multivariaten Analyse handelt es sich um eine Beobachtung, die aus der Masse der Daten entfernt wird. Aber welche Metrik sollten wir verwenden, um ein Extrem für den Ausreißer zu definieren? Es gibt viele Möglichkeiten. Die Mahalanobis-Distanz ist nur eine. Ich halte es für zwecklos und kontraproduktiv, nach Ausreißern jeder Art zu suchen. Ich würde fragen, warum Sie sich für den Ausreißer interessieren? Bei der Schätzung eines Mittelwerts können sie einen großen Einfluss auf diese Schätzung haben. Robuste Schätzer wiegen weniger und nehmen Ausreißer auf, testen sie jedoch nicht offiziell. In der Regression könnten die Ausreißer - wie Hebelpunkte - große Auswirkungen auf die Steigungsparameter im Modell haben. Mit bivariaten Daten können sie den geschätzten Korrelationskoeffizienten und in drei oder mehr Dimensionen den Mehrfachkorrelationskoeffizienten übermäßig beeinflussen.

Einflussfunktionen wurden von Hampel als Hilfsmittel für robuste Schätzungen eingeführt, und Mallows schrieb eine schöne, unveröffentlichte Abhandlung, in der sie ihre Verwendung befürworteten. Die Einflussfunktion ist eine Funktion des Punktes, an dem Sie sich im n-dimensionalen Raum befinden, und des Parameters. Es misst im Wesentlichen die Differenz zwischen der Parameterschätzung mit dem Punkt in der Berechnung und dem Punkt, der ausgelassen wird. Anstatt sich die Mühe zu machen, die beiden Schätzungen zu berechnen und die Differenz zu berechnen, können Sie häufig eine Formel dafür ableiten. Dann geben die Konturen mit konstantem Einfluss die Richtung an, die in Bezug auf die Schätzung dieses Parameters extrem ist, und geben somit an, wo im n-dimensionalen Raum nach dem Ausreißer zu suchen ist.

Weitere Informationen finden Sie in meinem Artikel von 1983 im American Journal of Mathematical and Management Sciences mit dem Titel "Die Einflussfunktion und ihre Anwendung auf die Datenvalidierung". Bei der Datenvalidierung wollten wir nach Ausreißern suchen, die die beabsichtigte Verwendung der Daten beeinflusst haben. Meiner Meinung nach sollten Sie Ihre Aufmerksamkeit auf Ausreißer lenken, die die Parameter, die Sie schätzen möchten, stark beeinflussen, und sich nicht so sehr für andere interessieren, die dies nicht tun.

Möglicherweise handelt es sich um ein Überschießen, Sie trainieren jedoch möglicherweise eine unbeaufsichtigte zufällige Gesamtstruktur mit den Daten und verwenden das Objektnäherungsmaß, um Ausreißer zu erkennen. Weitere Details hier .

Bei moderaten Dimensionen wie 3 erscheint eine Art von Kernel-Kreuzvalidierungstechnik, wie sie an anderer Stelle vorgeschlagen wurde, vernünftig und ist die beste, die ich mir ausdenken kann.

Bei höheren Dimensionen bin ich mir nicht sicher, ob das Problem lösbar ist. es landet ziemlich genau auf dem Territorium des 'Fluches der Dimensionalität'. Das Problem ist, dass Abstandsfunktionen dazu neigen, sehr schnell zu sehr großen Werten zu konvergieren, wenn Sie die Dimensionalität erhöhen, einschließlich der von Verteilungen abgeleiteten Abstände. Wenn Sie einen Ausreißer als "einen Punkt mit einer vergleichsweise großen Abstandsfunktion im Verhältnis zu den anderen" definieren und alle Ihre Abstandsfunktionen anfangen, sich zu vereinigen, weil Sie sich in einem hochdimensionalen Raum befinden, dann sind Sie in Schwierigkeiten .

Ohne irgendeine Art von Verteilungsannahme, die Sie in ein Problem der Wahrscheinlichkeitsklassifizierung verwandeln lässt, oder zumindest eine Rotation, mit der Sie Ihren Raum in "Rauschdimensionen" und "informative Dimensionen" unterteilen können, denke ich, dass die Geometrie hochdimensionaler Räume eine einfache - oder zumindest verlässliche - Identifizierung von Ausreißern verbieten.

Ich bin mir nicht sicher, was Sie meinen, wenn Sie sagen, Sie denken nicht an ein Regressionsproblem, sondern an "echte multivariate Daten". Meine erste Antwort wäre, die Mahalanobis-Distanz zu berechnen, da es nicht erforderlich ist, dass Sie eine bestimmte IV oder DV angeben, aber im Kern (soweit ich das verstehe) hängt es mit einer Hebelstatistik zusammen.

Mir ist nicht bewusst, dass dies jemand tut, aber ich versuche im Allgemeinen gerne, die Dimensionalität zu reduzieren, wenn ich ein solches Problem habe. Sie könnten eine Methode aus vielfältigem Lernen oder nichtlinearer Dimensionsreduktion untersuchen .

Ein Beispiel wäre eine Kohonen-Karte . Eine gute Referenz für R ist "Selbst- und Superorganisierende Karten in R: Das Kohonen-Paket" .

Meine erste Antwort wäre, wenn Sie multivariate Regression für die Daten durchführen können, die Residuen dieser Regression zu verwenden, um Ausreißer zu erkennen. (Ich weiß, dass Sie sagten, dass es kein Regressionsproblem ist, also könnte dies Ihnen nicht helfen, sorry!)

Ich kopiere einiges davon von einer Stackoverflow-Frage, die ich bereits beantwortet habe und die einen Beispiel- R- Code enthält

Zuerst werden einige Daten erstellt und dann mit einem Ausreißer infiziert.

> testout<-data.frame(X1=rnorm(50,mean=50,sd=10),X2=rnorm(50,mean=5,sd=1.5),Y=rnorm(50,mean=200,sd=25)) 
> #Taint the Data 
> testout$X1[10]<-5 
> testout$X2[10]<-5 
> testout$Y[10]<-530 

> testout 
         X1         X2        Y 
1  44.20043  1.5259458 169.3296 
2  40.46721  5.8437076 200.9038 
3  48.20571  3.8243373 189.4652 
4  60.09808  4.6609190 177.5159 
5  50.23627  2.6193455 210.4360 
6  43.50972  5.8212863 203.8361 
7  44.95626  7.8368405 236.5821 
8  66.14391  3.6828843 171.9624 
9  45.53040  4.8311616 187.0553 
10  5.00000  5.0000000 530.0000 
11 64.71719  6.4007245 164.8052 
12 54.43665  7.8695891 192.8824 
13 45.78278  4.9921489 182.2957 
14 49.59998  4.7716099 146.3090 
<snip> 
48 26.55487  5.8082497 189.7901 
49 45.28317  5.0219647 208.1318 
50 44.84145  3.6252663 251.5620 

Es ist oft am nützlichsten, die Daten grafisch zu untersuchen (Ihr Gehirn kann Ausreißer viel besser erkennen als Mathematik).

> #Use Boxplot to Review the Data 
> boxplot(testout$X1, ylab="X1") 
> boxplot(testout$X2, ylab="X2") 
> boxplot(testout$Y, ylab="Y") 

Sie können dann Statistiken verwenden, um kritische Grenzwerte mithilfe des Lund-Tests zu berechnen (siehe Lund, RE 1975, "Tabellen für einen ungefähren Test für Ausreißer in linearen Modellen", Technometrics, Band 17, Nr. 4, S. 473) -476. Und Prescott, S. 1975, "Ein ungefährer Test für Ausreißer in linearen Modellen", Technometrics, Band 17, Nr. 1, S. 129-132.)

> #Alternative approach using Lund Test 
> lundcrit<-function(a, n, q) { 
+ # Calculates a Critical value for Outlier Test according to Lund 
+ # See Lund, R. E. 1975, "Tables for An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 4, pp. 473-476. 
+ # and Prescott, P. 1975, "An Approximate Test for Outliers in Linear Models", Technometrics, vol. 17, no. 1, pp. 129-132. 
+ # a = alpha 
+ # n = Number of data elements 
+ # q = Number of independent Variables (including intercept) 
+ F<-qf(c(1-(a/n)),df1=1,df2=n-q-1,lower.tail=TRUE) 
+ crit<-((n-q)*F/(n-q-1+F))^0.5 
+ crit 
+ } 

> testoutlm<-lm(Y~X1+X2,data=testout) 

> testout$fitted<-fitted(testoutlm) 

> testout$residual<-residuals(testoutlm) 

> testout$standardresid<-rstandard(testoutlm) 

> n<-nrow(testout) 

> q<-length(testoutlm$coefficients) 

> crit<-lundcrit(0.1,n,q) 

> testout$Ynew<-ifelse(testout$standardresid>crit,NA,testout$Y) 

> testout 
         X1         X2        Y    newX1   fitted    residual standardresid 
1  44.20043  1.5259458 169.3296 44.20043 209.8467 -40.5171222  -1.009507695 
2  40.46721  5.8437076 200.9038 40.46721 231.9221 -31.0183107  -0.747624895 
3  48.20571  3.8243373 189.4652 48.20571 203.4786 -14.0134646  -0.335955648 
4  60.09808  4.6609190 177.5159 60.09808 169.6108   7.9050960   0.190908291 
5  50.23627  2.6193455 210.4360 50.23627 194.3285  16.1075799   0.391537883 
6  43.50972  5.8212863 203.8361 43.50972 222.6667 -18.8306252  -0.452070155 
7  44.95626  7.8368405 236.5821 44.95626 223.3287  13.2534226   0.326339981 
8  66.14391  3.6828843 171.9624 66.14391 148.8870  23.0754677   0.568829360 
9  45.53040  4.8311616 187.0553 45.53040 214.0832 -27.0279262  -0.646090667 
10  5.00000  5.0000000 530.0000       NA 337.0535 192.9465135   5.714275585 
11 64.71719  6.4007245 164.8052 64.71719 159.9911   4.8141018   0.118618011 
12 54.43665  7.8695891 192.8824 54.43665 194.7454  -1.8630426  -0.046004311 
13 45.78278  4.9921489 182.2957 45.78278 213.7223 -31.4266180  -0.751115595 
14 49.59998  4.7716099 146.3090 49.59998 201.6296 -55.3205552  -1.321042392 
15 45.07720  4.2355525 192.9041 45.07720 213.9655 -21.0613819  -0.504406009 
16 62.27717  7.1518606 186.6482 62.27717 169.2455  17.4027250   0.430262983 
17 48.50446  3.0712422 228.3253 48.50446 200.6938  27.6314695   0.667366651 
18 65.49983  5.4609713 184.8983 65.49983 155.2768  29.6214506   0.726319931 
19 44.38387  4.9305222 213.9378 44.38387 217.7981  -3.8603382  -0.092354925 
20 43.52883  8.3777627 203.5657 43.52883 228.9961 -25.4303732  -0.634725264 
<snip> 
49 45.28317  5.0219647 208.1318 45.28317 215.3075  -7.1756966  -0.171560291 
50 44.84145  3.6252663 251.5620 44.84145 213.1535  38.4084869   0.923804784 
       Ynew 
1  169.3296 
2  200.9038 
3  189.4652 
4  177.5159 
5  210.4360 
6  203.8361 
7  236.5821 
8  171.9624 
9  187.0553 
10       NA 
11 164.8052 
12 192.8824 
13 182.2957 
14 146.3090 
15 192.9041 
16 186.6482 
17 228.3253 
18 184.8983 
19 213.9378 
20 203.5657 
<snip> 
49 208.1318 
50 251.5620 

Natürlich gibt es auch andere Ausreißertests als den Lund-Test (Grubbs), aber ich bin mir nicht sicher, welche für multivariate Daten besser geeignet sind.

Eine der oben genannten Antworten wurde in Mahalanobis-Entfernungen angesprochen. Vielleicht hilft ein weiterer Schritt und die Berechnung gleichzeitiger Konfidenzintervalle dabei, Ausreißer zu erkennen!