Warum spielt die Korrelation von Residuen beim Testen auf Normalität keine Rolle?

Wenn (dh stammt aus dem linearen Regressionsmodell), ist und in diesem Fall Residuen sind korreliert und nicht unabhängig. Wenn wir jedoch eine Regressionsdiagnose durchführen und die Annahme testen möchten, schlägt jedes Lehrbuch vor, Q-Q-Diagramme und statistische Tests für Residuen Diese wurden entwickelt, um zu testen, ob für einige . $Y = AX + \varepsilon$ $Y$

ε \sim N (0, σ^{2} I) \Rightarrow \hat{e} = (I - H) Y \sim N (0, (I - H) σ_{}^{2})

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$

{\hat{e}}_{1}, \dots, {\hat{e}}_{n}

$\hat{e}_1, \ldots, \hat{e}_n$

ε \sim N (0, σ^{2} I)

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$

\hat{e}

$\hat{e}$

\hat{e} \sim N (0, σ^{2} I)

$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$

σ^{2} \in R

$\sigma^2 \in \mathbb{R}$

Wie kommt es, dass für diese Tests Residuen nicht korreliert und nicht unabhängig sind? Es wird oft empfohlen, standardisierte Residuen zu verwenden: aber das macht sie nur homoskedastisch, nicht unabhängig.

{\hat{e}}_{i}^{'} = \frac{{\hat{e}}_{i}}{\sqrt{1 - h_{i i}}},

$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$

Um die Frage neu zu formulieren: Residuen aus der OLS-Regression werden korreliert. Ich verstehe, dass diese Korrelationen in der Praxis so klein sind (meistens? Immer?), Dass sie ignoriert werden können, wenn getestet wird, ob Residuen aus der Normalverteilung stammen. Meine Frage ist, warum?

regression residuals non-independent Zoran Loncarevic
quelle

Macht sie homoskedastisch.

Scortchi - Monica wieder einsetzen

Fragen Sie nach der Anwendbarkeit dieser Tests, wenn Residuen starke Korrelationen aufweisen, oder sind Sie nur besorgt über die (sehr geringfügige und belanglose) negative Korrelation, die sich aus dem Schätzverfahren für kleinste Quadrate ergibt?

whuber

@whuber Ich frage nach der Korrelation, die sich aus dem Schätzverfahren für kleinste Quadrate ergibt. Wenn sie geringfügig und belanglos sind, würde ich gerne wissen, warum.

Zoran Loncarevic

Antworten:

In Ihrer Notation ist die Projektion und der Spaltenraum von , dh der Unterraum aller Regressoren. Daher ist die Projektion auf alles orthogonal zum Unterraum, der von allen Regressoren überspannt wird. $H$ $X$ $M:=I_{n}-H$

Wenn , dann ist singulär normalverteilt und die Elemente sind korreliert, wie Sie angeben. $X\in\mathbb{R}^{n\times k}$ $\hat{e}\in\mathbb{R}^{n}$

Die Fehler sind nicht beobachtbar und im Allgemeinen nicht orthogonal zu dem von überspannten Unterraum . Nehmen Sie aus Gründen der Argumentation an, dass der Fehler . Wenn dies wahr wäre, hätten wir mit . Da , könnten wir zerlegen und das wahre . $\varepsilon$ $X$ $\varepsilon\perp\operatorname{span}\left(X\right)$ $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ $\tilde{y}\perp\varepsilon$ $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$ $y$ $\varepsilon$

Angenommen, wir haben eine Basis von , wobei der erste Basisvektor den Unterraum überspannt und die verbleibenden span . Im Allgemeinen hat der Fehler Komponenten ungleich Null für . Diese Nicht-Null-Komponenten werden mit und können daher nicht durch Projektion auf wiederhergestellt werden . $b_{1},\ldots,b_{n}$ $\mathbb{R}^{n}$ $b_{1},\ldots,b_{k}$ $\operatorname{span}\left(X\right)$ $b_{k+1},\ldots,b_{n}$ $\operatorname{span}\left(X\right)^{\perp}$ $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ $\alpha_{i}$ $i\in\left\{1,\ldots,k\right\}$ $X\beta$ $\operatorname{span}\left(X\right)$

Da wir niemals hoffen können, die wahren Fehler wiederherzustellen, sind und korrelierte singuläre dimensionale Normalen, könnten wir transformieren . Dort können wir haben, dass dh ist nicht singulär unkorreliert und homoskedastisch normalverteilt. Die Residuen heißen Theils BLUS-Residuen . $\varepsilon$ $\hat{e}$ $n$ $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$

e^{*} \sim N_{n - k} (0, σ^{2} I_{n - k}),

$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$

e^{*}

$e^{*}$

e^{*}

$e^{*}$

In der Kurzarbeit Über das Testen von Regressionsstörungen auf Normalität finden Sie einen Vergleich von OLS- und BLUS-Residuen. In der getesteten Monte-Carlo-Einstellung sind die OLS-Residuen den BLUS-Residuen überlegen. Dies sollte Ihnen jedoch einen Ausgangspunkt geben.

Marco Breitig
quelle