Beziehung zwischen Kammregression und PCA-Regression

Ich erinnere mich , im Web habe irgendwo gelesen, die eine Verbindung zwischen Ridge - Regression (mit $\ell_2$ Regularisierung) und PCA Regression: bei der Verwendung von $\ell_2$ -regularized Regression mit Hyper $\lambda$ , wenn $\lambda \to 0$ , dann ist die Regression auf dem Entfernen den PC - Variable entspricht mit der kleinste Eigenwert.

• Warum ist das so?
• Hat dies etwas mit dem Optimierungsverfahren zu tun? Naiv hätte ich erwartet, dass es OLS entspricht.
• Hat jemand eine Referenz dafür?

Sei die zentrierte n × p- Prädiktormatrix und betrachte ihre Singularwertzerlegung X = U S V ⊤, wobei S eine Diagonalmatrix mit diagonalen Elementen s i ist .$\mathbf X$$n \times p$$\mathbf X = \mathbf{USV}^\top$$\mathbf S$$s_i$

Die angepaßten Werte des gewöhnlichen kleinsten Quadrate (OLS) Regression sind gegeben durch y O L S = X β O L S = X ( X ⊤ X ) - 1 X ⊤ y = U U ⊤ y . Die angepaßten Werte des Firstregressions sind gegeben durch y r i d g e = X β r i d g e = X ( X ⊤ X

$$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$$ Die angepaßten Werte der PCARegression (PCR) mitkKomponenten sind gegeben durch y PCR=XPCAβPCR= $$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$$ $k$ wobei es k Einsengibt , denenNullen folgen. $$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$$ $k$

Von hier aus können wir sehen, dass:

1. Wenn , dann y r i d g e = y O L S .$\lambda=0$$\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$

2. $\lambda>0$$s_i$$s_i^2 \approx \lambda$

3. $k$$\lambda=0$$k$$\lambda=\infty$

4. Dies bedeutet, dass die Ridge-Regression als "glatte Version" der PCR angesehen werden kann.

   $s_i$$\mathbf X$

5. Die Ridge-Regression ist in der Praxis tendenziell besser (z. B. um eine höhere Cross-Validated-Leistung zu erzielen).

6. $\lambda \to 0$$\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$. Ich verstehe nicht, wie das dem Entfernen des Kleinsten entsprechen kann$s_i$. Ich denke das ist falsch.

Eine gute Referenz ist The Elements of Statistical Learning , Abschnitt 3.4.1 "Ridge Regression".

---

Siehe auch diesen Thread: Interpretation der Grat-Regularisierung in der Regression und insbesondere die Antwort von @BrianBorchers.

Elemente des statistischen Lernens haben eine große Diskussion über diesen Zusammenhang.

Ich habe diese Verbindung und Logik folgendermaßen interpretiert:

• PCA ist eine lineare Kombination der Merkmalsvariablen, die versucht, die Varianz der durch den neuen Raum erklärten Daten zu maximieren.
• Daten mit Multikollinearität (oder mehr Prädiktoren als Datenzeilen) führen zu einer Kovarianzmatrix ohne vollen Rang.
• Mit dieser Kovarianzmatrix können wir nicht invertieren, um die Least-Squares-Lösung zu bestimmen. Dies bewirkt, dass die numerische Approximation der Koeffizienten der kleinsten Quadrate in die Unendlichkeit sprengt.
• Ridge Regression führt die Strafe Lambda für die Covarianzmatrix ein, um die Matrixinversion und Konvergenz der LS-Koeffizienten zu ermöglichen.

Die PCA-Verbindung besteht darin, dass die Ridge Regression die linearen Kombinationen der Features berechnet, um zu bestimmen, wo die Multikollinearität auftritt. Die linearen Merkmalskombinationen (Prinzipielle Komponentenanalyse) mit der geringsten Varianz (und damit kleineren Singularwerten und kleineren Eigenwerten in PCA) werden am härtesten bestraft.

Denk darüber so; Für die lineare Kombination von Merkmalen mit kleinster Varianz haben wir die Merkmale gefunden, die am ähnlichsten sind, wodurch die Multikollinearität verursacht wird. Da Ridge das Feature-Set nicht reduziert, unabhängig von der Richtung, die diese lineare Kombination beschreibt, wird das ursprüngliche Feature, das dieser Richtung entspricht, am stärksten benachteiligt.

Betrachten Sie die lineare Gleichung

$$\mathbf X \beta = \mathbf y\,,$$ und der SVD von $\mathbf X$, $$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$$ woher $\mathbf S = \text{diag}(s_i)$ ist die diagonale Matrix der singulären Werte.

Ordentliche kleinste Quadrate bestimmen den Parametervektor $\beta$ wie

$$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$$ Dieser Ansatz schlägt jedoch fehl, sobald es einen singulären Wert gibt, der Null ist (da dann die Inverse nicht existiert). Darüber hinaus, auch wenn nein$s_i$ genau Null ist, können numerisch kleine Singularwerte die Matrix schlecht konditionieren und zu einer sehr fehleranfälligen Lösung führen.

Ridge-Regression und PCA stellen zwei Methoden vor, um diese Probleme zu vermeiden. Gratregression ersetzt$\mathbf S^{-1}$ in der obigen Gleichung für $\beta$ durch

$$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$$

PCA ersetzt $\mathbf S^{-1}$ durch

$$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$$ wehre $\theta$ ist die Sprungfunktion und $\gamma$ ist der Schwellwertparameter.

Beide Methoden schwächen somit die Auswirkung von Teilräumen, die kleinen Werten entsprechen. PCA tut dies auf harte Weise, während der Grat eine glattere Annäherung ist.

Noch abstrakter: Überlegen Sie sich Ihr eigenes Regularisierungsschema

$$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$$ woher $R(x)$ ist eine Funktion, die für gegen Null gehen sollte $x\rightarrow 0$ und $R(x)\rightarrow x^{-1}$ zum $x$groß. Aber denk dran, es gibt kein kostenloses Mittagessen.