Multivariate lineare Regression im Vergleich zu mehreren univariaten Regressionsmodellen

11

In den univariaten Regressionseinstellungen versuchen wir zu modellieren

y=Xβ+noise

wobei ein Vektor von n Beobachtungen und X R n × m die Entwurfsmatrix mit m Prädiktoren ist. Die Lösung ist β 0 = ( X T X ) - 1 X y .yRnnXR.n×mmβ0=(X.T.X.)- -1X.y

In den multivariaten Regressionseinstellungen versuchen wir zu modellieren

Y=Xβ+noise

Dabei ist eine Matrix aus n Beobachtungen und p verschiedenen latenten Variablen. Die Lösung ist , β 0 = ( X T X ) - 1 X Y .yRn×pnpβ0=(XTX)1XY

Meine Frage ist , wie ist das anders als die Durchführung verschiedene univariate lineare Regression? Ich habe hier gelesen , dass wir im letzteren Fall die Korrelation zwischen den abhängigen Variablen berücksichtigen, aber ich sehe es nicht aus der Mathematik.p

Roy
quelle
1
Siehe den Satz von Frisch-Waugh-Lovell.
rsm
1
@amorfati: Wenn ich das richtig verstehe, sind sie gleich. Warum behandeln die Leute sie anders?
Roy

Antworten:

6

Im Rahmen der klassischen multivariaten linearen Regression haben wir das Modell:

Y=Xβ+ϵ

Dabei steht für die unabhängigen Variablen, Y für mehrere Antwortvariablen und ϵ für einen iid-Gaußschen Rauschausdruck. Rauschen hat einen Mittelwert von Null und kann über Antwortvariablen hinweg korreliert werden. Die Maximum-Likelihood-Lösung für die Gewichte entspricht der Lösung der kleinsten Quadrate (unabhängig von Rauschkorrelationen) [1] [2]:XYϵ

β^=(XTX)1XTY

Dies entspricht der unabhängigen Lösung eines separaten Regressionsproblems für jede Antwortvariable. Dies ist aus der Tatsache ersichtlich, dass die - te Spalte von β (enthaltenden Gewichte für die i - ten Ausgangsgröße) kann durch Multiplikation erhalten wird ( X T X ) - 1 X T durch die iiβ^i(XTX)1XTi - te Spalte von (mit Werten von die i- te Antwortvariable).Yi

Die multivariate lineare Regression unterscheidet sich jedoch von der getrennten Lösung einzelner Regressionsprobleme, da statistische Inferenzverfahren Korrelationen zwischen den Mehrfachantwortvariablen berücksichtigen (siehe z. B. [2], [3], [4]). Beispielsweise wird die Rauschkovarianzmatrix in Stichprobenverteilungen, Teststatistiken und Intervallschätzungen angezeigt.

Ein weiterer Unterschied ergibt sich, wenn wir zulassen, dass jede Antwortvariable ihre eigenen Kovariaten hat:

Yi=Xiβi+ϵi

wobei die i- te Antwortvariable darstellt und X i und ϵ i den entsprechenden Satz von Kovariaten und Rauschausdruck darstellen. Wie oben können die Rauschausdrücke über Antwortvariablen hinweg korreliert werden. In dieser Einstellung gibt es Schätzer, die effizienter als die kleinsten Quadrate sind und nicht auf die Lösung separater Regressionsprobleme für jede Antwortvariable reduziert werden können. Siehe zum Beispiel [1].YiiXiϵi

Verweise

  1. Zellner (1962) . Eine effiziente Methode zur Schätzung scheinbar nicht zusammenhängender Regressionen und Tests zur Aggregationsverzerrung.
  2. Helwig (2017) . Multivariate lineare Regression [Folien]
  3. Fox und Weisberg (2011) . Multivariate lineare Modelle in R. [Anhang zu: Ein R-Begleiter zur angewandten Regression]
  4. Maitra (2013) . Multivariate lineare Regressionsmodelle. [Folien]
user20160
quelle
1
Danke, jetzt ist es klarer. Haben Sie eine Referenz für diese Formulierung? Ich bin nur auf die kleinste quadratische Form gestoßen. Kennen Sie auch ein Python-Paket, das das implementiert?
Roy
1
Zweitens die Referenzanfrage. Nimmt man die Korrelation nur als Kovarianz der Ergebnisse oder lernt man eine Art von bedingter Kovarianz?
generic_user
Ich bin nicht 100% sicher, dass @ user20160 sich auf diese bezieht, aber ich denke, was sie im Sinn hatten, war das Schätzen von Gleichungen / verallgemeinerten Schätzen von Gleichungen. EE / GEE sind konsistent, wenn die Kovarianzstruktur falsch angegeben ist und Sie auch die erwartete Kovarianzstruktur festlegen können. Diese Modelle werden jedoch im Gegensatz zu OLS mit geschlossener Form iterativ geschätzt. Sie sollten in der Lage sein, GEE / EE in Python zu schätzen, aber ich kenne die Pakete nicht.
Iacobus
1
@ Roy Ich habe die Antwort umgeschrieben und Referenzen hinzugefügt. Mein ursprünglicher Beitrag ging von dem Fall aus, der jetzt der letzte Absatz des überarbeiteten Beitrags ist. Ich werde später versuchen, weitere Details hinzuzufügen.
user20160