Die kleinste Winkelregression hält die Korrelationen monoton abnehmend und gebunden?

Ich versuche, ein Problem für die kleinste Winkelregression (LAR) zu lösen. Dies ist ein Problem 3.23 auf Seite 97 von Hastie et al., Elements of Statistical Learning, 2nd. ed. (5. Druck) .

Betrachten Sie ein Regressionsproblem mit allen Variablen und Antworten mit dem Mittelwert Null und der Standardabweichung Eins. Angenommen, jede Variable hat eine identische absolute Korrelation mit der Antwort:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Sei der Koeffizient der kleinsten Quadrate von auf und sei für . yXu(α)=αX β α∈[0,1$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

Ich werde gebeten zu zeigen, dass und ich habe Probleme damit. Beachten Sie, dass dies im Grunde genommen bedeuten kann, dass die Korrelationen jedes mit den Residuen gleich groß bleiben, wenn wir in Richtung voranschreiten .x j

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ $x_j$$u$

Ich weiß auch nicht, wie ich zeigen soll, dass die Korrelationen gleich sind:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Alle Hinweise wäre sehr dankbar!

Dies ist Problem 3.23 auf Seite 97 von Hastie et al., Elements of Statistical Learning , 2nd. ed. (5. Druck) .

Der Schlüssel zu diesem Problem ist ein gutes Verständnis der gewöhnlichen kleinsten Quadrate (dh der linearen Regression), insbesondere der Orthogonalität der angepassten Werte und der Residuen.

Orthogonalitäts-Lemma : Sei die n × p- Entwurfsmatrix, y der Antwortvektor und β die (wahren) Parameter. Unter der Annahme , X ist Voll Rang (die wir im ganzen Gebäude ), die OLS - Schätzungen von β sind β = ( X T X ) - 1 X T y . Die angepaßten Werte sind Y = X ( X T X ) - 1 X T y . dann $X$$n \times p$$y$$\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$. Das heißt, die angepassten Werte sindorthogonalzu den Residuen. Dies folgtdaXT(y - y )=XTy-XTX(XTX)-1XTy=XTy-X$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ .$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

Nun sei ein Spaltenvektor, so dass x j die j- te Spalte von X ist . Die angenommenen Bedingungen sind:$x_j$$x_j$$j$$X$

• für jedesj,$\frac{1}{N} \langle x_j, x_j \rangle = 1$$j$,$\frac{1}{N} \langle y, y \rangle = 1$
• wo1pein Vektor von Einsen der Länge bezeichnetp, und$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$$1_p$$p$
• für allej.$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$$j$

Beachten Sie, dass insbesondere die letzte Anweisung des Orthogonalität Lemma identisch mit für alle j .$\langle x_j, y - \hat{y} \rangle = 0$$j$

---

Die Korrelationen sind gebunden

Nun . So, ⟨ x j , y - u ( a ) ⟩ = ⟨ x j , ( 1 - α ) y + α y - α y ⟩ = ( 1 - α ) ⟨ x j , y ⟩ + α $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$ und der zweite Term auf der rechten Seite gleich Null von derOrthogonalität Lemmas, so

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ wie gewünscht. Der absolute Wert der Korrelationen sind nur ρ j(α)= $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

$j$$x_j$$y$

$\alpha$$p$

---

Explizite Form der (absoluten) Korrelation

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

$u(\alpha) = \alpha \hat{y}$

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

Beachten Sie das

• $\langle y, y \rangle = N$
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$

Wenn Sie das alles zusammenfügen, werden Sie feststellen, dass wir bekommen

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

$1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$$\hat{\rho}_j(\alpha)$$\alpha$$\hat{\rho}_j(\alpha) \downarrow 0$$\alpha \uparrow 1$

---

Epilog : Konzentrieren Sie sich hier auf die Ideen. Es gibt wirklich nur einen. Das Orthogonalitäts-Lemma erledigt fast die gesamte Arbeit für uns. Der Rest ist nur Algebra, Notation und die Fähigkeit, die letzten beiden zum Laufen zu bringen.