Was ist der Vorteil der Reduzierung der Dimensionalität von Prädiktoren zum Zwecke der Regression?

Was sind die Anwendungen oder Vorteile der Dimensionsreduktion Regression (DRR) oder beaufsichtigten Dimensionsreduktion (SDR) Techniken gegenüber herkömmlichen Regressionstechniken (ohne Dimensionsreduktion)? Diese Klasse von Techniken findet eine niedrigdimensionale Darstellung des Merkmalssatzes für das Regressionsproblem. Beispiele für solche Techniken umfassen in Scheiben geschnittene inverse Regression, Haupt-Hessische Richtungen, Geschnittene durchschnittliche Varianzschätzung, Kernel-Schnitt-Inverse-Regression, Hauptkomponenten-Regression usw.

1. Wenn in Bezug auf die kreuzvalidierte RMSE ein Algorithmus bei einer Regressionsaufgabe ohne Dimensionsreduktion eine bessere Leistung erbringt, was ist dann die tatsächliche Verwendung der Dimensionsreduktion für die Regression? Ich verstehe den Sinn dieser Techniken nicht.

2. Werden diese Techniken zufällig verwendet, um die räumliche und zeitliche Komplexität für die Regression zu verringern? Wenn dies der Hauptvorteil ist, wären einige Ressourcen zur Reduzierung der Komplexität für hochdimensionale Datensätze hilfreich, wenn diese Techniken verwendet werden. Ich diskutiere dies mit der Tatsache, dass das Ausführen einer DRR- oder SDR-Technik selbst einige Zeit und Raum erfordert. Ist diese SDR / DRR + -Regression bei einem Low-Dim-Datensatz schneller als nur die Regression bei einem High-Dim-Datensatz?

3. Wurde diese Einstellung nur aus abstraktem Interesse untersucht und hat sie keine gute praktische Anwendung?

Als Nebengedanke: Manchmal gibt es Annahmen, dass die gemeinsame Verteilung der Merkmale und der Antwort Y auf einer Mannigfaltigkeit liegt. In diesem Zusammenhang ist es sinnvoll, aus der beobachteten Stichprobe die Mannigfaltigkeit zu lernen, um ein Regressionsproblem zu lösen.$X$$Y$

Gemäß der Mannigfaltigkeitshypothese wird angenommen, dass die Daten auf einer niedrigdimensionalen Mannigfaltigkeit liegen, was impliziert, dass der Rest Rauschen ist. Wenn Sie also Ihre Dimensionsreduktion korrekt durchführen, sollten Sie die Leistung verbessern, indem Sie das Signal und nicht das Rauschen modellieren. Es geht nicht nur um Raum und Komplexität.

Der Zweck der Dimensionsreduktion bei der Regression ist die Regularisierung.

Die meisten der von Ihnen aufgelisteten Techniken sind nicht sehr bekannt. Ich habe von keinem von ihnen außer der Hauptkomponentenregression (PCR) gehört. Ich werde also über PCR antworten, erwarte aber, dass dies auch für die anderen Techniken gilt.

Die beiden Schlüsselwörter hier sind Überanpassung und Regularisierung . Für eine lange Behandlung und Diskussion verweise ich Sie auf die Elemente des statistischen Lernens , aber sehr kurz, was passiert, wenn Sie viele Prädiktoren ( ) und nicht genügend Stichproben ( n ) haben, ist, dass die Standardregression die Daten überpasst und Sie werden Konstruieren Sie ein Modell, das auf dem Trainingssatz eine gute Leistung zu haben scheint, auf jedem Testsatz jedoch eine sehr schlechte Leistung aufweist.$p$$n$

$p>n$$y$$100\%$

Um mit Überanpassung fertig zu werden, muss eine Regularisierung verwendet werden , und es gibt viele verschiedene Regularisierungsstrategien. In einigen Ansätzen versucht man, die Anzahl der Prädiktoren drastisch zu reduzieren und das Problem auf das zu reduzieren$p\ll n$

$p$

Um eine Leistungssteigerung im Vergleich zur Standardregression zu erzielen, benötigen Sie einen Datensatz mit vielen Prädiktoren und nicht so vielen Stichproben, und Sie müssen auf jeden Fall eine Kreuzvalidierung oder einen unabhängigen Testsatz verwenden. Wenn Sie keine Leistungssteigerung feststellen konnten, hatte Ihr Dataset möglicherweise nicht genügend Abmessungen.

Verwandte Themen mit guten Antworten:

• $p\gg N$ Einstellung (Vorhersage der Arzneimitteleffizienz anhand der Genexpression mit 30.000 Prädiktoren und ~ 30 Proben)

• $p>n$