Verallgemeinerte kleinste Quadrate: von Regressionskoeffizienten zu Korrelationskoeffizienten?

Für kleinste Quadrate mit einem Prädiktor:

$y = \beta x + \epsilon$

Wenn und vor dem Anpassen standardisiert sind (dh ), dann:$x$$y$$\sim N(0,1)$

• $\beta$ ist der gleiche wie der Pearson-Korrelationskoeffizient .$r$
• $\beta$ ist in der reflektierten Regression dasselbe:$x = \beta y + \epsilon$

Gilt das auch für generalisierte kleinste Quadrate (GLS)? Wenn ich meine Daten standardisiere, kann ich dann Korrelationskoeffizienten direkt aus den Regressionskoeffizienten erhalten?

Durch das Experimentieren mit Daten führt das reflektierte GLS zu unterschiedlichen Koeffizienten, und ich bin mir auch nicht sicher, ob ich glaube, dass die Regressionskoeffizienten mit meinen erwarteten Korrelationswerten übereinstimmen. Ich weiß, dass Leute GLS-Korrelationskoeffizienten zitieren, also frage ich mich, wie sie zu ihnen kommen und was sie wirklich bedeuten?$\beta$

Die Antwort lautet: Ja, die linearen Regressionskoeffizienten sind die Korrelationen der Prädiktoren mit der Antwort, jedoch nur, wenn Sie das richtige Koordinatensystem verwenden .

Um zu sehen, was ich meine, erinnere mich daran, dass wenn und zentriert und standardisiert sind, die Korrelation zwischen jedem und nur das Punktprodukt . Die Lösung der kleinsten Quadrate für die lineare Regression ist ebenfalls$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

Wenn es so kommt, dass (die Identitätsmatrix) dann$X^{t} X = I$

$$\beta = X^t y$$

und wir stellen den Korrelationsvektor wieder her. Es ist oft attraktiv, ein Regressionsproblem in Bezug auf Prädiktoren formulieren , die erfüllen, indem geeignete lineare Kombinationen der ursprünglichen Prädiktoren gefunden werden, die diese Beziehung wahr machen ( oder äquivalent eine lineare Änderung der Koordinaten); Diese neuen Prädiktoren werden als Hauptkomponenten bezeichnet.$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

Insgesamt lautet die Antwort auf Ihre Frage also Ja, aber nur, wenn die Prädiktoren selbst nicht korreliert sind . Ansonsten der Ausdruck

$$X^t X \beta = X^t y$$

zeigt, dass die Betas zusammen mit den Korrelationen zwischen den Prädiktoren selbst gemischt werden müssen, um die Prädiktor-Antwort-Korrelationen wiederherzustellen.

Als Randnotiz erklärt dies auch, warum das Ergebnis für eine variable lineare Regression immer wahr ist. Sobald der Prädiktorvektor standardisiert ist, gilt Folgendes:$x$

$$x_0^t x = \sum_i x_{i} = 0$$

Dabei ist der Schnittvektor aller. Die (zweispaltige) Datenmatrix erfüllt also automatisch , und das Ergebnis folgt.$x_0$$X$$X^t X = I$