Gibt es eine „unbeaufsichtigte Regression“?

Wenn ich richtig liege, ist "unbeaufsichtigte Klassifizierung" dasselbe wie Clustering. Gibt es dann eine "unbeaufsichtigte Regression"? Vielen Dank!

Ich bin diesem Begriff noch nie begegnet. Ich bin mir nicht sicher, ob es Licht oder Dunkelheit in beiden Bereichen der Statistik verbreiten würde: Maschinelles Lernen (bei dem überwachte und unbeaufsichtigte Unterscheidungen für die Problemlösung von zentraler Bedeutung sind) und Inferenzstatistik (bei der Regression, Bestätigungsanalyse und NHSTs am häufigsten eingesetzt werden).

Wenn sich diese beiden Philosophien überschneiden, wird der Großteil der Regression und der damit verbundenen Terminologie in einem streng überwachten Rahmen abgeworfen. Ich denke jedoch, dass viele bestehende Konzepte im Bereich des unbeaufsichtigten Lernens eng mit auf Regression basierenden Ansätzen verbunden sind, insbesondere wenn Sie naiv jede Klasse oder Funktion als Ergebnis durchlaufen und die Ergebnisse bündeln. Ein Beispiel hierfür ist die PCA- und die bivariate Korrelationsanalyse. Durch iteratives Anwenden der besten Teilmengenregression auf eine Reihe von Variablen können Sie eine sehr komplexe Art der Netzwerkschätzung durchführen, wie dies bei der Modellierung von Strukturgleichungen (ausschließlich im Sinne von EFA) angenommen wird. Dies scheint mir ein unbeaufsichtigtes Lernproblem mit Regression zu sein.

Schätzungen der Regressionsparameter sind jedoch nicht reflexiv. Für eine einfache lineare Regression, regredieren auf gibt Ihnen unterschiedliche Ergebnisse, verschiedene Inferenz und unterschiedliche Schätzungen (nicht einmal inversen notwendigerweise) als auf . In meinen Augen macht diese mangelnde Kommutativität die meisten naiven Regressionsanwendungen für unbeaufsichtigte Lernprobleme unzulässig .$Y$$X$$X$$Y$

Das Nächste, woran ich denken kann, ist eine kleine schwarze Magie, die die Leute aufgeregt hat, als sie vor ein paar Jahren angekündigt wurde, aber ich glaube nicht, dass sie in der Community wirklich Anklang gefunden hat. Die Autoren entwickelten eine Statistik namens "Maximal Information Coefficient (MIC)". Die allgemeine Idee hinter ihrer Methode besteht darin, hochdimensionale Daten zu nehmen, jede Variable paarweise gegen jede andere Variable zu zeichnen und dann auf jede Zeichnung einen interessanten Window-Binning-Algorithmus anzuwenden (der die MIC für diese beiden Variablen berechnet), um festzustellen, ob es solche gibt möglicherweise eine Beziehung zwischen den beiden Variablen. Die Technik soll robust sein, um willkürlich strukturierte Beziehungen zu identifizieren , nicht nur lineare.

Die Technik zielt auf Variablenpaare ab, aber ich bin sicher, sie könnte erweitert werden, um multivariate Beziehungen zu untersuchen. Das Hauptproblem wäre, dass Sie die Technik mit wesentlich mehr Variablenkombinationen ausführen müssten, da Sie die Permutation von immer mehr Variablen zulassen. Ich stelle mir vor, dass es nur bei Paaren einige Zeit in Anspruch nimmt: Der Versuch, dies auch für hochdimensionale Daten aus der Ferne zu verwenden und komplexere Beziehungen als Variablenpaare in Betracht zu ziehen, würde schnell unlösbar werden.

Lesen Sie das Artikel Erkennen neuer Assoziationen in großen Datensätzen (2011).

Die automatische Regression ist eine Möglichkeit, die Gewichtung einer Matrix zu berechnen, um den Fehler bei der rekonstruierten Eingabe aus einer bestimmten Eingabe zu minimieren.

Diese Frage kam mir bei der Untersuchung des Unterschieds zwischen überwachten und unbeaufsichtigten Methoden. Aus ökonometrischer Sicht denke ich lieber in Modellen, was mein Verständnis verlangsamte, da sich die meiste maschinelle Lernliteratur, die mir begegnet ist, auf Methoden konzentriert.

Was ich bisher festgestellt habe, ist, dass strikt zwischen clustering(unbeaufsichtigt) und classification(beaufsichtigt) unterschieden werden sollte . Die kontinuierliche Analogie der Beziehung zwischen diesen Modellentwürfen wäre principal component analysis(unbeaufsichtigt) gegenüber linear regression(überwacht).

Ich würde jedoch argumentieren, dass die Beziehung zwischen Clustering und Klassifizierung rein zufällig ist; es existiert nur, wenn wir beide Modellentwürfe so interpretieren, dass sie eine geometrische Beziehung beschreiben, die ich als unnötig einschränkend empfinde. Alle mir bekannten unbeaufsichtigten Methoden (k-means, elastische Kartenalgorithmen wie kohonen / neuronales Gas, DBSCAN, PCA) können auch als latente Variablenmodelle interpretiert werden. Bei Clustering-Methoden würde dies bedeuten, dass die Zugehörigkeit zu einem Cluster als Zustand betrachtet wird, der durch die Einführung von Zustandsdummies als latentes Variablenmodell codiert werden kann.

Angesichts der Interpretation als latente Variablenmodelle können Sie ein beliebiges, möglicherweise nichtlineares Modell angeben, das Ihre Features in Form von kontinuierlichen latenten Variablen beschreibt.