Was ist die Interpretation der Kovarianz von Regressionskoeffizienten?

Die lm-Funktion in R kann die geschätzte Kovarianz von Regressionskoeffizienten ausgeben. Was geben uns diese Informationen? Können wir das Modell jetzt besser interpretieren oder Probleme diagnostizieren, die im Modell vorhanden sein könnten?

r multiple-regression least-squares mss
quelle

Dieselbe Interpretation wie alle anderen Kovarianzen - lineare Kovariation? Die Hauptverwendung besteht darin, die Varianz ausgewählter interessierender Kontraste zu berechnen, beispielsweise um Kontraste zu testen.

kjetil b halvorsen

Antworten:

Die grundlegendste Verwendung der Kovarianzmatrix besteht darin, die Standardfehler von Regressionsschätzungen zu erhalten. Wenn der Forscher nur an den Standardfehlern der einzelnen Regressionsparameter selbst interessiert ist, kann er einfach die Quadratwurzel der Diagonale ziehen, um die einzelnen Standardfehler zu erhalten.

Es kann jedoch vorkommen, dass Sie an einer linearen Kombination von Regressionsparametern interessiert sind. Wenn Sie beispielsweise eine Indikatorvariable für eine bestimmte Gruppe haben, ist möglicherweise der Gruppenmittelwert für Sie von Interesse

$\beta_0 + \beta_{\rm grp}$ .

Dann müssten Sie den Standardfehler für den geschätzten Mittelwert dieser Gruppe ermitteln

$\sqrt{X^\top S X}$ ,

Dabei ist ein Vektor Ihrer Kontraste und die Kovarianzmatrix. Wenn wir in unserem Fall nur die Additionskovariate "grp" haben, dann ist ( für den Achsenabschnitt , für die Zugehörigkeit zur Gruppe). $X$ $S$ $X = (1,1)$ $1$ $1$

Darüber hinaus kann die Kovarianzmatrix (oder darüber hinaus die Korrelationsmatrix, die eindeutig aus der Kovarianzmatrix identifiziert wird, aber nicht umgekehrt) für bestimmte Modelldiagnosen sehr nützlich sein. Wenn zwei Variablen stark korrelieren, kann man sich vorstellen, dass das Modell Probleme hat, herauszufinden, welche Variable für einen Effekt verantwortlich ist (weil sie so eng miteinander verbunden sind). Dies kann in einer Vielzahl von Fällen hilfreich sein, z. B. bei der Auswahl von Teilmengen von Kovariaten, die in einem Vorhersagemodell verwendet werden sollen. Wenn zwei Variablen stark korreliert sind, möchten Sie möglicherweise nur eine der beiden in Ihrem Vorhersagemodell verwenden.

Cliff AB
quelle

Vielen Dank für die Erklärung. In Ihrem letzten Absatz beschreiben Sie die Probleme, die auftreten können, wenn unabhängige Variablen stark kollinear sind. Es scheint , als wäre es einfacher, an der Kovarianz / Korrelation der tatsächlichen aussehen

s als

gibt es eine inverse in der Formel.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

mss

Es gibt zwei Arten von Regressionskoeffizienten:

$\beta$ $c$
$b$ $\hat \beta$ $c$

$X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

$b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

$b_1$ $b_1$

$\mathrm{Cov}\left(b_1,b_2\right)$

Die Antwort von Cliff AB ist eine gute Zusammenfassung dessen, wofür dies tatsächlich verwendet wird.

Shadowtalker
quelle

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@whuber danke, und ich habe tatsächlich "Korrelation" an einem Punkt geschrieben. Ich

räume

Da ich es vielleicht eine Weile nicht mehr zu diesem Thread geschafft habe, +1 im Voraus für die Änderungen!

whuber

habe den gleichen Fehler in meiner Beschreibung gemacht!

Cliff AB

@whuber jetzt bin ich eigentlich der zweite, der mein eigenes Verständnis von Kovarianz errät. Ist mein Problem nur, dass ich nicht betont habe, dass die Skalen unterschiedlich sein könnten, oder fehlt mir etwas anderes? Ich bin auf Ihre "Boxen"

-Erklärung gestoßen