Was ist der Zusammenhang zwischen partiellen kleinsten Quadraten, reduzierter Rangregression und Hauptkomponentenregression?

Sind reduzierte Rangregression und Hauptkomponentenregression nur Sonderfälle von partiellen kleinsten Quadraten?

In diesem Lernprogramm (Seite 6, "Objektivvergleich") wird angegeben, dass bei Teilquadraten ohne X- oder Y-Projektion (dh "nicht partiell") die Rang- oder Hauptkomponentenregression entsprechend verringert wird.

Eine ähnliche Erklärung finden Sie auf dieser SAS-Dokumentationsseite in den Abschnitten "Reduzierte Rangregression" und "Beziehungen zwischen Methoden".

Eine grundlegendere Folgefrage ist, ob ihnen ähnliche Wahrscheinlichkeitsmodelle zugrunde liegen.

Hierbei handelt es sich um drei verschiedene Methoden, von denen keine als Sonderfall einer anderen angesehen werden kann.

Formal, wenn und Y zentrierte Prädiktordatensätze ( n × p ) und Antwortdatensätze ( n × q ) sind und wenn wir nach dem ersten Achsenpaar suchen, gilt w ∈ R p für $\mathbf X$$\mathbf Y$$n \times p$$n\times q$$\mathbf w \in \mathbb R^p$$\mathbf X$ und für Y , dann diese Methoden Maximieren Sie die folgenden Mengen:$\mathbf v \in \mathbb R^q$$\mathbf Y$

$$\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$$

(Ich habe dieser Liste die kanonische Korrelationsanalyse (CCA) hinzugefügt.)

---

Ich vermute, dass die Verwirrung daran liegen könnte, dass in SAS alle drei Methoden über dieselbe Funktion PROC PLSmit unterschiedlichen Parametern implementiert zu sein scheinen . Es scheint also, dass alle drei Methoden Sonderfälle von PLS sind, denn so wird die SAS-Funktion benannt. Dies ist jedoch nur eine unglückliche Benennung. In Wirklichkeit sind PLS, RRR und PCR drei verschiedene Methoden, die zufällig in SAS in einer Funktion implementiert werden, die aus irgendeinem Grund aufgerufen wird PLS.

In beiden Tutorials, mit denen Sie verlinkt haben, ist das tatsächlich sehr klar. Seite 6 des Tutorials nennt die Ziele aller drei Methoden und sagt nicht, dass PLS zu RRR oder PCR wird, im Gegensatz zu dem, was Sie in Ihrer Frage behauptet haben. In ähnlicher Weise wird in der SAS-Dokumentation erläutert, dass drei Methoden unterschiedlich sind und Formeln und Intuition angeben:

[P] Die Regression der Hauptkomponenten wählt Faktoren aus, die so viele Prädiktorvariationen wie möglich erklären, die Regression des reduzierten Rangs wählt Faktoren aus, die so viele Antwortvariationen wie möglich erklären, und das partielle kleinste Quadrat gleicht die beiden Ziele aus, wobei nach Faktoren gesucht wird, die sowohl die Antwort- als auch die Prädiktorvariation erklären .

Es gibt sogar eine Abbildung in der SAS-Dokumentation, die ein schönes Spielzeugbeispiel zeigt, in dem drei Methoden unterschiedliche Lösungen ergeben. In diesem Spielzeugbeispiel gibt es zwei Prädiktoren und x 2 und eine Antwortvariable y . Die Richtung in $x_1$$x_2$$y$$X$ , die am meisten mit korrelierten geschieht auf die Richtung der maximalen Varianz der orthogonal zu X . Daher ist PC1 orthogonal zur ersten RRR-Achse und die PLS-Achse liegt irgendwo dazwischen.$y$$X$

Man kann der RRR-Verlustfunktion eine Kammstrafe hinzufügen, um eine kammreduzierte Rangregression oder RRRR zu erhalten. Dadurch wird die Regressionsachse in Richtung PC1 gezogen, ähnlich wie PLS. Die Kostenfunktion für RRRR kann jedoch nicht in einer PLS-Form geschrieben werden, sodass sie unterschiedlich bleiben.

$y$