Ist die Reihenfolge der erklärenden Variablen bei der Berechnung ihrer Regressionskoeffizienten von Bedeutung?

Zuerst dachte ich, dass die Reihenfolge keine Rolle spielt, aber dann las ich über den Gramm-Schmidt-Orthogonalisierungsprozess zur Berechnung mehrerer Regressionskoeffizienten, und jetzt habe ich Bedenken.

Je später eine erklärende Variable unter den anderen Variablen indiziert wird, desto kleiner ist nach dem Gramm-Schmidt-Verfahren ihr Restvektor, weil die Restvektoren der vorhergehenden Variablen von ihr subtrahiert werden. Infolgedessen ist auch der Regressionskoeffizient der erklärenden Variablen kleiner.

Wenn dies zutrifft, wäre der Restvektor der fraglichen Variablen größer, wenn er früher indiziert würde, da weniger Restvektoren davon subtrahiert würden. Dies bedeutet, dass der Regressionskoeffizient auch größer wäre.

Ok, also wurde ich gebeten, meine Frage zu klären. Also habe ich Screenshots von dem Text gepostet, der mich an erster Stelle verwirrt hat. Ok, hier geht.

Meines Wissens gibt es mindestens zwei Möglichkeiten, um die Regressionskoeffizienten zu berechnen. Die erste Option ist im folgenden Screenshot mit (3.6) gekennzeichnet.

Der erste Weg

Hier ist die zweite Option (ich musste mehrere Screenshots verwenden).

Der zweite Weg

Bildbeschreibung hier eingeben

Sofern ich nichts falsch verstehe (was definitiv möglich ist), scheint es, dass bei der zweiten Option die Reihenfolge wichtig ist. Ist es wichtig, in der ersten Option? Warum oder warum nicht? Oder ist mein Referenzrahmen so durcheinander, dass dies nicht einmal eine gültige Frage ist? Hängt das alles irgendwie mit der Summe der Quadrate vom Typ I mit der Summe der Quadrate vom Typ II zusammen?

Vielen Dank im Voraus, ich bin so verwirrt!

regression multiple-regression regression-coefficients Ryan Zotti
quelle

Können Sie die genaue Vorgehensweise bei der Berechnung der Koeffizienten beschreiben? Nach dem, was ich über die Gramm-Schmidt-Orthogonalisierung weiß und wie sie auf das Regressionsproblem angewendet werden kann, kann ich davon ausgehen, dass Sie mit dem gs-Verfahren die Regression anpassen können, nicht jedoch die ursprünglichen Koeffizienten. Beachten Sie, dass die Regressionsanpassung die Projektion auf den Raum der Spalten ist. Wenn Sie die Spalten orthogonalisieren, erhalten Sie die orthogonale Basis des Raums, der die Spalten überspannt, daher ist die Anpassung eine lineare Kombination dieser Basis und auch eine lineare Kombination der ursprünglichen Spalten. Es wird das gleiche sein ...

mpiktas

Die Koeffizienten sind jedoch unterschiedlich. Das ist völlig normal.

mpiktas

Ich glaube, ich bin verwirrt, weil ich dachte, ich hätte in "Die Elemente des statistischen Lernens" gelesen, dass die nach dem Gram-Schmidt-Verfahren berechneten Koeffizienten die gleichen sind wie die nach dem herkömmlichen Verfahren berechneten: B = (X'X) ^ - 1 X'y.

Ryan Zotti

Hier ist der Auszug aus dem Buch, in dem es um die Prozedur geht: "Wir können die Schätzung [der Koeffizienten] als Ergebnis von zwei Anwendungen der einfachen Regression betrachten. Die Schritte sind: 1. Regression von x auf 1, um den Rest z = zu erzeugen x - x ̄1; 2. Regulieren Sie y auf den Rest z, um den Koeffizienten βˆ1 zu erhalten. Dieses Rezept verallgemeinert den Fall von p Eingaben, wie in Algorithmus 3.1 gezeigt. Beachten Sie, dass die Eingaben z0, ..., zj - 1 in Schritt 2 sind orthogonal, daher sind die dort berechneten einfachen Regressionskoeffizienten tatsächlich auch die multiplen Regressionskoeffizienten.

Ryan Zotti

Es wird ein bisschen chaotisch, wenn ich in den Kommentarbereich hier kopiere und einfüge, also ist es wahrscheinlich am besten, sich nur die Quelle direkt anzuschauen. Die Seiten 53 bis 54 von "The Elements of Statistical Learning" können kostenlos von Stanfords Website heruntergeladen werden: www-stat.stanford.edu/~tibs/ElemStatLearn .

Ryan Zotti

Antworten:

Ich glaube, dass die Verwirrung von etwas Einfacherem herrührt, aber es bietet eine gute Gelegenheit, einige verwandte Themen zu besprechen.

$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$

{\hat{β}}_{ich} \overset{?}{=} \frac{⟨ y, z_{ich} ⟩}{‖ z_{ich} ‖^{2}},

$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$

{\hat{β}}_{p}

$\bhat_p$

Das aufeinanderfolgende Orthogonalisierungsschema (eine Form der Gram-Schmidt-Orthogonalisierung) erzeugt (fast) ein Paar von Matrizen und derart , daß wobei ist mit orthonormalen Spalten und ist oberes Dreieck. Ich sage "fast", da der Algorithmus nur bis zu den Normen der Spalten spezifiziert , was im Allgemeinen nicht einer sein wird, sondern durch Normalisieren der Spalten und Vornehmen einer entsprechenden einfachen Anpassung der Koordinate zur Einheitsnorm gemacht werden kann Matrix . $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$ $\G$

X = Z G,

$\m X = \Z \G \>,$

Z

$\Z$

n \times p

$n \times p$

G = (g_{i j})

$\G = (g_{ij})$

p \times p

$p \times p$

Z

$\Z$

G

$\G$

Vorausgesetzt natürlich, dass den Rang , ist die eindeutige Lösung der kleinsten Quadrate der Vektor , der das System löst $\m X \in \mathbb R^{n \times p}$ $p \leq n$ $\bhat$

X^{T} X \hat{β} = X^{T} y .

$\m X^T \m X \bhat = \m X^T \m y \>.$

Einsetzen von und Verwenden von (durch Konstruktion) ergibt Das entspricht $\m X = \Z \G$ $\Z^T \Z = \m I$

G^{T} G \hat{β} = G^{T} Z^{T} y,

$\G^T \G \bhat = \G^T \Z^T \m y \> ,$

G \hat{β} = Z^{T} y .

$\G \bhat = \Z^T \m y \>.$

Konzentrieren Sie sich nun auf die letzte Reihe des linearen Systems. Das einzige Nicht-Null-Element von in der letzten Zeile ist . Wir erhalten also Es ist nicht schwer zu erkennen (dies zur Überprüfung des Verständnisses!), Dassund so ergibt sich die Lösung. ( Vorbehalt Lector : Ich habe bereits normalisiert, um Einheitennorm zu haben, während in dem Buch sie nicht haben . Dies erklärt die Tatsache, dass das Buch eine quadratische Norm im Nenner hat, während ich nur die Norm habe.) $\G$ $g_{pp}$

g_{p p} {\hat{β}}_{p} = ⟨ y, z_{p} ⟩ .

$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$

g_{p p} = ‖ z_{p} ‖

$g_{pp} = \|\z_p\|$

z_{i}

$\z_i$

Um alle Regressionskoeffizienten zu finden , muss man einen einfachen Backsubstitutionsschritt durchführen, um nach dem Individuum zu lösen . Beispielsweise für die Zeile , und so Man kann diese Prozedur "rückwärts" von der letzten Reihe des Systems bis zur ersten fortsetzen, indem man gewichtete Summen der bereits berechneten Regressionskoeffizienten subtrahiert und dann durch den führenden Term , um . $\bhat_i$ $(p-1)$

G_{p - 1, p - 1} {\hat{β}}_{p - 1} + G_{p - 1, p} {\hat{β}}_{p} = ⟨ z_{p - 1}, y ⟩,

$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$

{\hat{β}}_{p - 1} = g_{p - 1, p - 1}^{- 1} ⟨ z_{p - 1}, y ⟩ - g_{p - 1, p - 1}^{- 1} g_{p - 1, p} {\hat{β}}_{p} .

$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$

g_{i i}

$g_{ii}$

{\hat{β}}_{i}

$\bhat_i$

Der Punkt im Abschnitt in ESL ist, dass wir die Spalten von neu anordnen können, um eine neue Matrix wobei die te ursprüngliche Spalte jetzt die letzte ist. Wenn wir dann die Gram-Schmidt-Prozedur auf die neue Matrix anwenden, erhalten wir eine neue Orthogonalisierung, sodass die Lösung für den ursprünglichen Koeffizienten durch die einfache Lösung oben gefunden wird. Dies gibt uns eine Interpretation für den Regressionskoeffizienten . Es handelt sich um eine univariate Regression von auf den Restvektor, die durch "Regression" der verbleibenden Spalten der Entwurfsmatrix aus . $\m X$ $\m X^{(r)}$ $r$ $\bhat_r$ $\bhat_r$ $\m y$ $\m x_r$

Allgemeine QR-Zerlegungen

Das Gram-Schmidt - Verfahren ist jedoch ein Verfahren zur Herstellung einer QR - Zerlegung der Herstellung . Tatsächlich gibt es viele Gründe, andere algorithmische Ansätze dem Gram-Schmidt-Verfahren vorzuziehen. $\m X$

Hausbesitzerreflexionen und Givens-Rotationen bieten numerisch stabilere Ansätze für dieses Problem. Beachten Sie, dass sich die obige Entwicklung im allgemeinen Fall der QR-Zerlegung nicht ändert. Das heißt, läßt sein jede QR - Zerlegung von . Unter Verwendung genau derselben Überlegungen und algebraischen Manipulationen wie oben haben wir dann, dass die Lösung der kleinsten Quadrate erfüllt. das vereinfacht sich zu Da ein oberes Dreieck ist, funktioniert die gleiche Rücksubstitutionstechnik. Wir lösen zuerst nach

X = Q R,

$\m X = \m Q \m R \>,$

X

$\m X$

\hat{β}

$\bhat$

R^{T} R \hat{β} = R^{T} Q^{T} y,

$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$

R \hat{β} = Q^{T} y .

$\m R \bhat = \m Q^T \m y \> .$

R

$\m R$

{\hat{β}}_{p}

$\bhat_p$ und dann von unten nach oben rückwärts arbeiten. Die Wahl für dem QR Dekompositionsalgorithmus zu verwenden in der Regel Scharniere auf die Steuerung numerische Instabilität und aus dieser Perspektive, Gram-Schmidt ist in der Regel kein wettbewerbsorientiert.

Dieser Begriff der Zerlegung von als orthogonale Matrix mal etwas anderes kann auch ein wenig weiter verallgemeinert werden, um eine sehr allgemeine Form für den angepassten Vektor , aber ich befürchte, dass diese Antwort bereits zu lang geworden ist . $\m X$ $\hat{\m y}$

Kardinal
quelle

Ich hatte einen Blick durch das Buch und es sieht aus wie Übung 3.4 könnte nützlich sein , GS in das Verständnis des Konzepts der Verwendung aller Regressionskoeffizienten finden (nicht nur der letzte Koeffizient - so dass ich eine Lösung getippt Hope this ist. sinnvoll. $\beta_j$ $\beta_p$

Übung 3.4 in ESL

Zeigen Sie, wie der Vektor der kleinsten Quadrate aus einem einzelnen Durchgang des Gram-Schmidt-Verfahrens erhalten werden kann. Stellen Sie Ihre Lösung in Bezug auf die QR-Zerlegung von . $X$

Lösung

Erinnern wir uns, dass wir durch einen einzelnen Durchgang der Gram-Schmidt-Prozedur unsere Matrix als schreiben können wobei die orthogonalen Spalten enthält und eine Matrix mit einer oberen Diagonale und einer solchen auf der Diagonale ist . Dies spiegelt die Tatsache , dass per Definition $X$

X = Z Γ,

$X = Z \Gamma,$

Z

$Z$

z_{j}

$z_j$

Γ

$\Gamma$

γ_{i j} = \frac{⟨ z_{i}, x_{j} ⟩}{‖ z_{i} ‖^{2}}

$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$

x_{j} = z_{j} + \sum_{k = 0}^{j - 1} γ_{k j} z_{k} .

$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$

Durch die Zerlegung können wir nun schreiben , wobei eine orthogonale Matrix und eine obere Dreiecksmatrix ist. Wir haben und , wobei eine Diagonalmatrix mit. $QR$ $X = QR$ $Q$ $R$ $Q = Z D^{-1}$ $R = D\Gamma$ $D$ $D_{jj} = \| z_j \|$

Nun haben wir per Definition von Unter Verwendung der Zerlegung haben wir nun $\hat \beta$

(X^{T} X) \hat{β} = X^{T} y .

$(X^T X) \hat \beta = X^T y.$

Q R

$QR$

\begin{aligned} (R^{T} Q^{T}) (Q R) \hat{β} & = R^{T} Q^{T} y \\ R \hat{β} & = Q^{T} y \end{aligned}

$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$

$R$ ist das obere Dreieck, wir können schreiben gemäß unseren vorherigen Ergebnissen. Jetzt können wir durch Rücksubstitution die Folge der Regressionskoeffizienten . Zum Berechnen von haben wir

\begin{aligned} R_{p p} {\hat{β}}_{p} & = ⟨ q_{p}, y ⟩ \\ ‖ z_{p} ‖ {\hat{β}}_{p} & = ‖ z_{p} ‖^{- 1} ⟨ z_{p}, y ⟩ \\ {\hat{β}}_{p} & = \frac{⟨ z_{p}, y ⟩}{‖ z_{p} ‖^{2}} \end{aligned}

$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$

{\hat{β}}_{j}

$\hat \beta_j$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

\begin{aligned} R_{p - 1, p - 1} {\hat{β}}_{p - 1} + R_{p - 1, p} {\hat{β}}_{p} & = ⟨ q_{p - 1}, y ⟩ \\ ‖ z_{p - 1} ‖ {\hat{β}}_{p - 1} + ‖ z_{p - 1} ‖ γ_{p - 1, p} {\hat{β}}_{p} & = ‖ z_{p - 1} ‖^{- 1} ⟨ z_{p - 1}, y ⟩ \end{aligned}

$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$ und dann nach . Dieser Vorgang kann für alle wiederholt werden , wodurch die Regressionskoeffizienten in einem Durchgang der Gram-Schmidt-Prozedur erhalten werden.

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

β_{j}

$\beta_j$

Andrew Tulloch
quelle

Warum nicht versuchen und vergleichen? Passen Sie eine Reihe von Regressionskoeffizienten an, ändern Sie dann die Reihenfolge und passen Sie sie erneut an und prüfen Sie, ob sie sich unterscheiden (außer einem möglichen Rundungsfehler).

Wie @mpiktas darauf hinweist, ist nicht genau klar, was Sie tun.

Ich kann sehen, dass GS verwendet wird, um nach in der Gleichung der kleinsten Quadrate zu lösen . Aber dann würden Sie die GS auf der -Matrix , nicht auf den Originaldaten. In diesem Fall sollten die Koeffizienten gleich sein (mit Ausnahme eines möglichen Rundungsfehlers). $B$ $(x'x)B=(x'y)$ $(x'x)$

Ein weiterer Ansatz von GS in der Regression besteht darin, GS auf die Prädiktorvariablen anzuwenden, um die Kolinearität zwischen ihnen zu beseitigen. Dann werden die orthogonalisierten Variablen als Prädiktoren verwendet. In diesem Fall sind die Reihenfolge und die Koeffizienten unterschiedlich, da die Interpretation der Koeffizienten von der Reihenfolge abhängt. Betrachte 2 Prädiktoren und und führe GS auf ihnen in dieser Reihenfolge aus und benutze sie dann als Prädiktoren. In diesem Fall zeigt der erste Koeffizient (nach dem Schnittpunkt) die Auswirkung von auf für sich und der zweite Koeffizient ist die Auswirkung von auf nach Anpassung von $x_1$ $x_2$ $x_1$ $y$ $x_2$ $y$ $x_1$ . Wenn Sie nun die Reihenfolge der x umkehren, zeigt der erste Koeffizient die Auswirkung von auf für sich (wobei ignoriert und nicht angepasst wird), und der zweite ist die Auswirkung von , die für . $x_2$ $y$ $x_1$ $x_1$ $x_2$

Greg Snow
quelle

Ich denke, Ihr letzter Absatz ist wahrscheinlich der Quelle meiner Verwirrung am nächsten - GS macht die Bestellung zur Angelegenheit. Das ist was ich dachte. Ich bin jedoch immer noch ein bisschen verwirrt, weil das Buch, das ich lese, den Titel "The Elements of Statistical Learning" (eine Stanford-Veröffentlichung, die frei erhältlich ist: www-stat.stanford.edu/~tibs/ElemStatLearn ) zu tragen scheint legen nahe, dass GS dem Standardansatz für die Berechnung der Koeffizienten entspricht; das heißt, B = (X'X) ^ - 1 X'y.

Ryan Zotti

Und ein Teil von dem, was Sie sagen, verwirrt mich auch ein bisschen: "Ich kann sehen, dass GS verwendet wird, um nach B in der Gleichung der kleinsten Quadrate (x'x) zu lösen ^ - 1 B = (x'y). Aber dann würden Sie das tun GS in der (x'x) Matrix, nicht die Originaldaten. " Ich dachte, die x'x-Matrix enthält die Originaldaten? ... Zumindest sagt das Elements of Statistical Learning. Es heißt, das x in x'x ist eine N mal p-Matrix, wobei N die Anzahl der Eingaben (Beobachtungen) und p die Anzahl der Dimensionen ist.

Ryan Zotti

Wenn GS nicht das Standardverfahren zur Berechnung der Koeffizienten ist, wie wird dann typischerweise die Kollinearität behandelt? Wie verteilt sich Redundanz (Kollinearität) typischerweise auf die x? Macht Kollinearität die Koeffizienten nicht traditionell instabil? Dann würde nicht darauf hindeuten , dass das GS - Verfahren ist das Standardverfahren? Weil der GS-Prozess auch die Koeffizienten instabil macht - ein kleinerer Restvektor macht den Koeffizienten instabil.

Ryan Zotti

Zumindest heißt es in diesem Text: "Wenn xp in hohem Maße mit einigen der anderen xk korreliert, ist der Restvektor zp nahe Null und ab (3.28) ist der Koeffizient βˆp sehr instabil."

Ryan Zotti

Beachten Sie, dass GS ist eine Form von QR - Zerlegung.

Kardinal