Ein Ausreißer ist eine Beobachtung, die in Bezug auf eine einfache Charakterisierung eines Datensatzes ungewöhnlich oder nicht gut beschrieben erscheint. Eine unangenehme Möglichkeit besteht darin, dass diese Daten aus einer anderen Population stammen als die, die untersucht werden soll.
Angenommen, ich habe einen großen Satz multivariater Daten mit mindestens drei Variablen. Wie finde ich die Ausreißer? Paarweise Streudiagramme funktionieren nicht, da es möglich ist, dass ein Ausreißer in drei Dimensionen existiert, der in keinem der zweidimensionalen Teilräume ein Ausreißer...
In meiner beruflichen Tätigkeit arbeite ich oft mit Datensätzen anderer Personen, Nicht-Experten bringen mir klinische Daten und ich helfe ihnen, diese zusammenzufassen und statistische Tests durchzuführen. Das Problem, das ich habe, ist, dass die Datensätze, die ich mitbringe, fast immer mit...
Ich hatte eine Frage zur Interpretation der durch plot (lm) in R erzeugten Graphen. Ich habe mich gefragt, ob Sie mir sagen können, wie die Diagramme für die Skalenposition und die Hebelwirkung für die verbleibenden Graphen zu interpretieren sind. Über Kommentare würde ich mich freuen....
Ich arbeite mit einer großen Anzahl von Zeitreihen. Bei diesen Zeitreihen handelt es sich im Grunde genommen um Netzwerkmessungen, die alle 10 Minuten durchgeführt werden. Einige davon sind periodisch (dh die Bandbreite), andere nicht (dh die Menge des Routingverkehrs). Ich hätte gerne einen...
Bei der Lösung von Geschäftsproblemen mithilfe von Daten wird häufig davon ausgegangen, dass mindestens eine der Annahmen, die die klassischen Statistiken untermauern, ungültig ist. Meistens stört sich niemand daran, diese Annahmen zu überprüfen, so dass Sie es nie wirklich wissen. Zum Beispiel ist...
Ich beginne mit der Verwendung von dabble glmnetmit LASSO Regression , wo mein Ergebnis von Interesse dichotomous ist. Ich habe unten einen kleinen nachgebildeten Datenrahmen erstellt: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45,...
Häufig erhält ein statistischer Analytiker einen Datensatz und wird gebeten, ein Modell mit einer Technik wie der linearen Regression anzupassen. Sehr häufig wird der Datensatz mit einem Haftungsausschluss in der Art von "Oh ja, wir haben es vermasselt, einige dieser Datenpunkte zu sammeln - tun...
Für eine Simulationsstudie muss ich Zufallsvariablen generieren, die eine vorab festgelegte (Populations-) Korrelation zu einer vorhandenen Variablen .Y.YY Ich sah in die RPakete copulaund CDVineder Zufall multivariate Verteilungen mit einer bestimmten Abhängigkeitsstruktur erzeugen kann. Es ist...
Ich habe es mit linearen Daten mit Ausreißern zu tun, von denen einige um mehr als 5 Standardabweichungen von der geschätzten Regressionslinie abweichen. Ich suche nach einer linearen Regressionstechnik, die den Einfluss dieser Punkte verringert. Bisher habe ich die Regressionsgerade mit allen...
In der Statistik wird oft vom Umgang mit Ausreißern gesprochen. Was mich daran stört, ist, dass die Definition eines Ausreißers, soweit ich das beurteilen kann, völlig subjektiv ist. Wenn beispielsweise die tatsächliche Verteilung einer Zufallsvariablen sehr stark oder bimodal ist, werden durch...
Kommentar: Zunächst möchte ich dem Autor des neuen tsoutliers- Pakets, das Chen und Lius Zeitreihen-Ausreißererkennung implementiert , ein großes Dankeschön aussprechen , das 1993 im Journal of the American Statistical Association in Open Source Software .RRR Das Paket erkennt 5 verschiedene...
In einigen Quellen, einschließlich dieser , habe ich gelesen , dass Random Forests unempfindlich gegenüber Ausreißern sind (wie es beispielsweise bei Logistic Regression und anderen ML-Methoden der Fall ist). Zwei Teile der Intuition sagen mir jedoch etwas anderes: Bei jeder Erstellung eines...
Ich habe nach einer Möglichkeit gesucht, Ausreißer aus einem Datensatz zu entfernen, und diese Frage gefunden . In einigen Kommentaren und Antworten auf diese Frage wurde jedoch darauf hingewiesen, dass es keine gute Praxis ist, Ausreißer aus den Daten zu entfernen. In meinem Datensatz habe ich...
Ich bin auf dieses Dokument gestoßen, das die Erkennung von Link-Anomalien zur Vorhersage von Trendthemen verwendet, und fand es unglaublich interessant: Das Dokument befasst sich mit dem Thema "Aufstrebende Themen in sozialen Netzwerken mithilfe der Erkennung von Link-Anomalien" . Ich würde es...
Diese Frage wurde von meinem Freund gestellt, der nicht mit dem Internet vertraut ist. Ich habe keinen statistischen Hintergrund und habe im Internet nach dieser Frage gesucht. Die Frage ist: Ist es möglich, Ausreißer durch Mittelwerte zu ersetzen? Wenn es möglich ist, gibt es Buchreferenzen /...
Wenn ich hier meine Frage beantworte , frage ich mich, ob es starke Ansichten für oder gegen die Verwendung der Standardabweichung zur Erkennung von Ausreißern gibt (z. B. ist jeder Datenpunkt mit mehr als 2 Standardabweichungen ein Ausreißer). Ich weiß, dass dies vom Kontext der Studie abhängt,...
Ich komme aus dem Bereich der Computersicht und habe oft die RANSAC- Methode (Random Sample Consensus) verwendet, um Modelle an Daten mit vielen Ausreißern anzupassen. Ich habe es jedoch noch nie von Statistikern gesehen und hatte immer den Eindruck, es sei keine "statistisch fundierte" Methode....
Es gibt viele Beiträge zu dieser SE, in denen robuste Ansätze für die Hauptkomponentenanalyse (PCA) erörtert werden, aber ich kann keine gute Erklärung dafür finden, warum PCA überhaupt empfindlich gegenüber Ausreißern
Ich habe angefangen, mich durch die Statistical Data Mining Tutorials von Andrew Moore zu arbeiten (sehr empfehlenswert für alle anderen, die sich zum ersten Mal in dieses Gebiet wagen). Ich begann mit der Lektüre dieses äußerst interessanten PDFs mit dem Titel "Einführung in zeitreihenbasierte...
In der linearen Regressionsanalyse analysieren wir Ausreißer, untersuchen Multikollinearität und testen Heteroskediktie. Die Frage ist: Gibt es eine Reihenfolge, um diese anzuwenden? Ich meine, müssen wir zuerst Ausreißer analysieren und dann Multikollinearität untersuchen? Oder umgekehrt? Gibt es...