Was ist der Unterschied zwischen Fehlern und Residuen?

20

Während diese beiden allgegenwärtigen Begriffe oft synonym verwendet werden, scheint es manchmal einen Unterschied zu geben. Gibt es tatsächlich einen Unterschied, oder sind sie auch genau?

residuals error terminology Constantin
quelle
Schauen Sie sich Qin & Gilbert "Der Fehlerbegriff in der Geschichte der Zeitreihenökonometrie" für eine umfassende Behandlung an, wenn Sie Zeit haben. Oh, aber das ist nur für Zeitreihendaten.
Richard Hardy

Antworten:

20

Fehler beziehen sich auf den eigentlichen Datenerzeugungsprozess (DGP), währendnach der Schätzung Ihres Modells Reste übrig bleiben. In Wahrheit beziehen sich Annahmen wie Normalität, Homoskedastizität und Unabhängigkeit auf die Fehler der DGP, nicht auf die Residuen Ihres Modells. (Wenn Sie beispielsweise Parameter in Ihr Modell einpassen, können nur N - ( p + 1 ) Residuen unabhängig sein.) Wir haben jedoch nur Zugriff auf die Residuen, also arbeiten wir mit diesen. p+1N−(p+1)

gung - Wiedereinsetzung von Monica
quelle
9
(+1) Reste können als Schätzungen der Fehler angesehen werden.
Scortchi - Wiedereinsetzung von Monica
@ABC, DGPsteht für Daten - Erzeugungsprozess . Auch wenn Ihr Modell angemessen ist und die wahre Struktur des DGP widerspiegelt, sind die Residuen nicht unbedingt normal, homoskedastisch und unabhängig, wenn die zugrunde liegenden Fehler nicht vorliegen.
gung - Wiedereinsetzung von Monica
@Scortchi Hallo, haben Sie zufällig Referenzen, die Ihren Kommentar erweitern? Ich versuche zu verstehen, warum genau Residuen als Schätzungen des Fehlers verwendet werden können, weil ich sehe, dass Leute die Normalität von Residuen in der Regressionsanalyse überprüfen, wenn die tatsächliche Annahme die Normalität eines Fehlers ist, und ich weiß nicht genau, warum das gültig ist.
Austin
@Austin, wenn dich das noch interessiert, solltest du eine neue Frage stellen.
gung - Wiedereinsetzung von Monica
13

Ein Fehler ist die Differenz zwischen dem beobachteten Wert und dem wahren Wert (sehr oft unbemerkt, generiert von der DGP).

Ein Residuum ist die Differenz zwischen dem beobachteten Wert und dem vorhergesagten Wert (nach Modell).

Leopold W.
quelle
±
Dieser Link ( ece.rochester.edu/courses/ECE111/error_uncertainty.pdf ) bietet eine gute Erklärung mit Verweisen auf Bevingtons und Taylors Texte zu diesem Thema.
Steven C. Howell
Ist der Rückstand beim maschinellen Lernen der Trainingsfehler und der Fehler der Testfehler?
Charles Chow
@CharlesChow Es hängt davon ab, welchen Datensatz Sie verwenden. Wenn Sie ein Trainingsset verwenden, liegt ein Trainingsfehler vor. Wenn Sie einen Testsatz verwenden, handelt es sich um einen Testfehler.
Leopold W.
7

Der Fehlerbegriff ist ein theoretisches Konzept, das niemals beobachtet werden kann. Der Restwert ist jedoch ein realer Weltwert, der bei jeder Regression berechnet wird

Kudzai Lemiel Munyukwa
quelle