Gibt es ein Standardverfahren (so dass man es als Referenz anführen könnte), um die Teilmenge der Datenpunkte aus einem größeren Pool mit der stärksten Korrelation (entlang nur zwei Dimensionen) auszuwählen?
Angenommen, Sie haben 100 Datenpunkte. Sie möchten eine Teilmenge von 40 Punkten mit der größtmöglichen Korrelation entlang der X- und Y-Dimensionen.
Mir ist klar, dass das Schreiben von Code dafür relativ einfach ist, aber ich frage mich, ob es eine Quelle gibt, die ich dafür zitieren kann.
Antworten:
Ich würde sagen, dass Ihre Methode in die allgemeine Kategorie passt, die in diesem Wikipedia-Artikel beschrieben wird, der auch andere Referenzen enthält, wenn Sie mehr als nur Wikipedia benötigen. Einige der Links in diesem Artikel würden ebenfalls zutreffen.
Andere Begriffe, die zutreffen könnten (wenn Sie etwas mehr suchen möchten), sind "Daten ausgraben" und "Daten quälen, bis sie gestehen".
Beachten Sie, dass Sie immer eine Korrelation von 1 erhalten können, wenn Sie nur 2 Punkte auswählen, die keine identischen x- oder y-Werte haben. Vor ein paar Jahren gab es einen Artikel in der Zeitschrift Chance, der zeigte, dass man bei einer x- und y-Variablen mit im Wesentlichen keiner Korrelation die x-Werte einteilen und die y-Werte in den Behältern mitteln kann, um entweder einen ansteigenden oder abfallenden Trend anzuzeigen ( Chance 2006, Visual Revelations: Finden, was nicht da ist, durch unglückliche Zusammenfassung der Ergebnisse: Der Mendel-Effekt, S. 49-52). Auch mit einem vollständigen Datensatz, der eine mäßig positive Korrelation aufweist, kann eine Teilmenge ausgewählt werden, die eine negative Korrelation aufweist. Selbst wenn Sie einen legitimen Grund haben, das zu tun, was Sie vorschlagen, geben Sie Skeptikern eine Menge Argumente, die Sie gegen Ihre Schlussfolgerungen verwenden können.
quelle
Der RANSAC-Algorithmus klingt wie das, was Sie wollen. Grundsätzlich wird davon ausgegangen, dass Ihre Daten aus einer Mischung von In-Lieferanten und Out-Lieferanten bestehen, und es wird versucht, die In-Lieferanten zu identifizieren, indem Teilmengen der Daten wiederholt abgetastet werden, ein Modell daran angepasst wird und dann versucht wird, jeden anderen Datenpunkt an das Modell anzupassen. Hier ist der Wikipedia-Artikel darüber .
In Ihrem Fall können Sie den Algorithmus einfach wiederholen, während Sie das aktuell beste Modell mit mindestens 40 Punkten speichern. Es garantiert Ihnen also nicht die absolut beste Korrelation, es sollte sich jedoch annähern.
quelle
Es fällt mir schwer, mir einen Kontext vorzustellen, in dem dies eine gute Praxis wäre, aber nehmen wir für einen Moment an, dass Sie in der Tat einen guten Grund dafür haben.
Ein Brute-Force-Algorithmus könnte etwa so aussehen:
Sie berechnen alle möglichen Teilstichproben von n aus Ihrer Gesamtstichprobe von N. Die meisten Statistikpakete verfügen über Funktionen zur Berechnung von Kombinationen ohne Ersetzungen, die dies für Sie erledigen.
Sie schätzen die Korrelation zwischen x und y für jede der Teilstichproben und wählen das Maximum aus dieser Menge aus.
Ich habe gerade den Kommentar des ursprünglichen Posters zu einer Referenz für dieses Verfahren gesehen. Ich bin mir nicht sicher, ob jemand einen bestimmten Namen für dieses Verfahren hat. Schließlich erstellen Sie einfach eine empirische Verteilung aller möglichen Korrelationen in Ihrem Datensatz und wählen das Maximum aus. Ähnliche Ansätze werden beim Bootstraping verwendet, aber in diesem Fall, wenn Sie an der empirischen Variabilität interessiert sind, verwenden Sie diese NICHT, um eine bestimmte Teilstichprobe auszuwählen, die mit der max.
quelle