Ist der Rest e ein Schätzer des Fehlers ?

8

Diese Frage ist in einem anderen Thread aufgetaucht, den ich gestartet habe, also dachte ich, ich würde mehr Meinungen von Leuten dazu bekommen. Meine Frage ist

Ist der Rest e ein Schätzer des Fehlers ?ϵ

Der Grund, den ich frage, ist der folgende. In OLS ist die Varianz der Residuen als Varianz der Regression bekannt (wobei RSS die Restsumme der Quadrate ist). In ähnlicher Weise ist die Quadratwurzel dieser Varianz, , der Standardfehler der Regression. Angesichts der Tatsache, dass die Quadratwurzel der Varianz ein Standardfehler ist, muss dies bedeuten, dass diese Varianz die Varianz eines Schätzers ist. Wir wissen bereits, dass es die Varianz der Residuen ist, daher ist das Residuum ein Schätzer? (Ich nehme von )RSS(nK)RSS(nK)RSS(nK)ϵ

Gedanken??

EconStats
quelle

Antworten:

10

Sicherlich sind die Residuen eine Art Schätzer von (um klar zu sein, die Definition des Residuums ist der Schätzer, das beobachtete Residuum ist eine Schätzung). Wenn das Modell korrekt ist, kann dies manchmal eine ziemlich gute Schätzung sein.ϵ

Tatsächlich

e=yy^=Xβ+ϵX(XX)1X(Xβ+ϵ)=(IH)ϵ ,

Dabei ist die (weil sie den Hut auf' ) - manchmal auch als Projektionsmatrix bezeichnet.H=X(XX)1Xy

http://en.wikipedia.org/wiki/Hat_matrix

Das heißt, die sind jeweils eine lineare Kombination der ; Wenn relativ zu ziemlich groß ist (wenn relativ zu I 'klein' ist), dann liegt der größte Teil des Gewichts auf dem error (dies ist jedoch häufig nicht der Fall).eϵ1hiijihijHith

Beachten Sie, dass die gleiche Erwartung und Varianz wie und wenn die Elemente von in der gerade beschriebenen Weise klein sind , in hohem Maße damit korreliert werden - in der Tat Wenn ich meine Algebra richtig gemacht habe, ist die Korrelation zwischen und tatsächlich: .ei/1hiiϵi H eiϵicorr(ei,ϵi)=1hii

Glen_b -Reinstate Monica
quelle
Danke für die Hilfe Glen_b. Kurze Frage: Was ist die Matrix H ? Die einzigen Matrizen ich Regression im Zusammenhang weiß , sind die Projektionsmatrix, P , und die Residual - Maschine, M . Und ich natürlich.
EconStats
Definition und Link hinzugefügt in.
Glen_b -State Monica
Cool, es ist nur die Projektionsmatrix, das habe ich schon mal gesehen!
EconStats
Für die Antwort oben, ich denke , es ein kleiner Fehler ist , dass e sein sollte (IH) (X \ beta + \ epsilon)
Chen Wang
(IH)Xβ=0
Glen_b -State Monica