In Kahneman und Deaton (2010) † schreiben die Autoren Folgendes:††^\dagger Diese Regression erklärt 37% der Varianz mit einem quadratischen mittleren Fehler (RMSE) von 0,67852. Um Ausreißer und unplausible Einkommensberichte zu eliminieren, haben wir Beobachtungen fallen gelassen, bei denen der...
Ich versuche, zwei Wertegruppen von einem einzigen Datensatz zu trennen. Ich kann davon ausgehen, dass eine der Populationen normal verteilt ist und mindestens halb so groß wie die Stichprobe ist. Die Werte der zweiten sind beide niedriger oder höher als die Werte der ersten (Verteilung ist...
Ich habe einen Datensatz mit der Annahme, dass die nächsten Nachbarn die besten Prädiktoren sind. Nur ein perfektes Beispiel für einen Zwei-Wege-Gradienten, der Angenommen, wir haben einen Fall, in dem nur wenige Werte fehlen, und wir können dies auf der Grundlage von Nachbarn und Trends leicht...
Ich habe diesen R-Code für die lineare Regression: fit <- lm(target ~ age+sales+income, data = new) Wie kann man einflussreiche Beobachtungen anhand der Entfernung des Kochs identifizieren und diese aus den Daten in R
Welche Vor- und Nachteile hat die Verwendung von LARS [1] im Vergleich zur Verwendung der Koordinatenabsenkung für die Anpassung der L1-regulierten linearen Regression? Ich interessiere mich hauptsächlich für Leistungsaspekte (meine Probleme sind Nin der Regel Hunderttausende und p<20). Es sind...
Was ist der Unterschied zwischen Outlier und Anomaly im Kontext des maschinellen Lernens? Meines Wissens beziehen sich beide auf
Ich versuche, anomale Werte in einer Zeitreihe von Klimadaten mit einigen fehlenden Beobachtungen zu ermitteln. Beim Durchsuchen des Webs habe ich viele verfügbare Ansätze gefunden. Von diesen scheint die Zersetzung im Sinne der Entfernung von Trends und saisonalen Bestandteilen und der...
Ich habe eine ziemlich vorhersehbare tägliche Zeitreihe mit wöchentlicher Saisonalität. Ich bin in der Lage, Vorhersagen zu treffen, die ziemlich genau zu sein scheinen (bestätigt durch eine Kreuzvalidierung), wenn es keine Feiertage gibt. In den Ferien habe ich jedoch folgende Probleme: In...
Hinweis: Diese Frage ist ein Repost, da meine vorherige Frage aus rechtlichen Gründen gelöscht werden musste. Beim Vergleich von PROC MIXED von SAS mit der Funktion lmeaus dem nlmePaket in R bin ich auf einige verwirrende Unterschiede gestoßen. Insbesondere unterscheiden sich die Freiheitsgrade...
Ich habe viele Artikel gefunden, die besagen, dass Boosting-Methoden empfindlich gegenüber Ausreißern sind, aber keinen Artikel, der erklärt, warum. Meiner Erfahrung nach sind Ausreißer für jeden Algorithmus für maschinelles Lernen schlecht, aber warum werden Boosting-Methoden als besonders...
Ich arbeite an Statistiken für Software-Builds. Ich habe Daten für jeden Build auf Pass / Fail und abgelaufene Zeit und wir generieren ~ 200 davon / Woche. Die Erfolgsquote lässt sich leicht zusammenfassen. Ich kann sagen, dass 45% einer Woche vergangen sind. Aber ich möchte auch die verstrichene...
Ich muss einen möglichst genauen Wert für die Helligkeit einer hauptsächlich stabilen Lichtquelle bei zwölf Leuchtkraftwerten erhalten. Der Sensor ist nicht perfekt, und das Licht kann gelegentlich heller oder dunkler "flackern", was ignoriert werden kann, weshalb ich Ausreißer erkennen muss...
Ich habe eine zufällige logistische Intercept-Regression (aufgrund wiederholter Messungen) und möchte einige Diagnosen durchführen, insbesondere in Bezug auf Ausreißer und einflussreiche Beobachtungen. Ich habe mir die Residuen angesehen, um festzustellen, ob es Beobachtungen gibt, die auffallen....
Ich versuche, die Erkennung von Ausreißern in Zeitreihen zu automatisieren, und habe eine Modifikation der hier von Rob Hyndman vorgeschlagenen Lösung verwendet . Angenommen, ich messe die täglichen Besuche einer Website aus verschiedenen Ländern. In einigen Ländern, in denen die täglichen Besuche...
Was ist der beste Weg, um Funktionen für die Erkennung von Anomalien automatisch auszuwählen? Ich behandle normalerweise Anomaly Detection als Algorithmus , wo die Merkmale von menschlichen Experten ausgewählt werden: was zählt , ist der Ausgangsbereich (wie in „abnormal Eingang - abnormal...
Kennt jemand, wie der Titel schon sagt, ein gutes, aktuelles Buch, das die Datenvorverarbeitung im Allgemeinen und insbesondere Ausreißererkennungstechniken behandelt? Das Buch muss sich nicht ausschließlich darauf konzentrieren, aber es sollte sich ausführlich mit den oben genannten Themen...
Kann die Regression zur Erkennung von Lier verwendet werden? Ich verstehe, dass es Möglichkeiten gibt, ein Regressionsmodell durch Entfernen der Ausreißer zu verbessern. Das Hauptziel hierbei ist jedoch nicht, ein Regressionsmodell anzupassen, sondern mithilfe der Regression die Liers...
Ich forsche auf dem Gebiet der funktionellen Reaktion von Milben. Ich möchte eine Regression durchführen, um die Parameter (Angriffsrate und Bearbeitungszeit) der Rogers Typ II-Funktion abzuschätzen. Ich habe einen Datensatz mit Messungen. Wie kann ich Ausreißer am besten bestimmen? Für meine...
Ich verwende den üblichen Schätzer für Kurtosis, , aber ich bemerke, dass selbst kleine Ausreißer in meiner empirischen Verteilung , dh kleine Spitzen weit vom Zentrum entfernt, beeinflussen es enorm. Gibt es einen Kurtosis-Schätzer, der robuster ist?K.^=
Ich schreibe ein Skript, das die Laufzeiten von Prozessen analysiert. Ich bin mir ihrer Verteilung nicht sicher, aber ich möchte wissen, ob ein Prozess "zu lange" läuft. Bisher habe ich 3 Standardabweichungen der letzten Laufzeiten verwendet (n> 30), aber mir wurde gesagt, dass dies nichts...