Wie hängen Residuen mit den zugrunde liegenden Störungen zusammen?

Bei der Methode der kleinsten Quadrate möchten wir die unbekannten Parameter im Modell schätzen:

Sobald wir dies getan haben (für einige beobachtete Werte), erhalten wir die angepasste Regressionslinie:

Jetzt wollen wir natürlich einige Diagramme überprüfen, um sicherzustellen, dass die Annahmen erfüllt sind. Angenommen, Sie möchten die Homoskedastizität überprüfen. Dazu überprüfen wir jedoch tatsächlich die Residuen . Angenommen, Sie untersuchen das Diagramm der Residuen gegen die vorhergesagten Werte. Wenn dies zeigt, dass Heteroskedastizität offensichtlich ist, wie hängt das dann mit dem Störungsterm ε j zusammen ? Bedeutet Heteroskedastizität in den Residuen eine störungsbedingte Heteroskedastizität? $e_j$$\varepsilon_j$

Der einfachste Weg , um darüber nachzudenken , ist , dass Sie Ihre RAW - Residuen ( ) sind Schätzungen der entsprechenden Störungen ( ε j = e j ). Es gibt jedoch einige zusätzliche Komplexitäten. Obwohl wir im Standard-OLS-Modell davon ausgehen, dass die Fehler / Störungen unabhängig sind, können die Residuen nicht alle sein. Im Allgemeinen können nur N - p - 1 Residuen unabhängig sein, da Sie bei der Schätzung des Mittelwertmodells p - 1 Freiheitsgrade verwendet haben und die Residuen auf die Summe beschränkt sind$e_j = y_j-\hat y_j$$\hat\varepsilon_j = e_j$$N-p-1$$p-1$ . Außerdem ist die Standardabweichung der rohen Residuen nicht wirklich konstant. Im Allgemeinen wird die Regressionslinie so angepasst, dass sie im Durchschnitt näher an den Punkten mit größerer Hebelwirkung liegt. Infolgedessen ist die Standardabweichung der Residuen für diese Punkte kleiner als die von Punkten mit niedriger Hebelwirkung. (Um mehr darüber zuerfahren, kann es hilfreich sein, die Antworten hier zu lesen:Interpretation von plot.lm ()und / oder hier:Wieführe ich eine Restanalysefür binäre / dichotome unabhängige Prädiktoren in der linearen Regression durch?)$0$

Die Beziehung zwischen ε und ε ist:$\hat{\varepsilon}$$\varepsilon$

wobei , die Hutmatrix, X ( X T X ) - 1 X T ist .$H$$X(X^TX)^{-1}X^T$

Welches ist zu sagen , dass ε i eine lineare Kombination aller Fehler, aber in der Regel der meisten Gewicht fällt auf dem i - ten ein.$\hat{\varepsilon}_i$$i$

Hier ist ein Beispiel unter Verwendung des carsDatensatzes in R. Betrachten Sie den lila markierten Punkt:

$i$$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$$w_j$

Wir können das umschreiben als:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

oder allgemeiner

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

$h_{ii}$$i$$H$$w_j$$h_{ij}$

$N(0,\sigma^2)$$i$

Das heißt, bei gut erzogenen Regressionen können Residuen meist wie eine mäßig verrauschte Schätzung des nicht beobachtbaren Fehlerausdrucks behandelt werden. Wenn wir Punkte betrachten, die weiter vom Zentrum entfernt sind, funktionieren die Dinge etwas weniger gut (der Rest wird weniger auf den Fehler gewichtet und die Gewichte auf die anderen Fehler werden weniger gleichmäßig).

$X$