Wie wirkt sich die Verteilung des Fehlerausdrucks auf die Verteilung der Antwort aus?

Wenn ich also annehme, dass die Fehlerterme normalerweise in einer linearen Regression verteilt sind, was bedeutet das für die Antwortvariable ?$y$

Vielleicht bin ich weg, aber ich denke, wir sollten uns über wundern , so lese ich das OP. Im einfachsten Fall der linearen Regression ist, wenn Ihr Modell ist, die einzige stochastische Komponente in Ihrem Modell der Fehlerterm. Als solches bestimmt es die Stichprobenverteilung von . Wenn ϵ ∼ N ( 0 , σ 2 I ) ist, dann ist y | X , β ≤ N ( X β , σ 2 I ) . Was @Aniko sagt, gilt mit Sicherheit für f (y = X β + ϵ $f(y|\beta, X)$$y=X\beta + \epsilon$$y$$\epsilon\sim N(0, \sigma^2I)$$y|X, \beta\sim N(X\beta, \sigma^2I)$$f(y)$ (geringfügig über$X, \beta$ ). Aus heutiger Sicht ist die Frage etwas vage.

Die kurze Antwort lautet, dass Sie keine Schlussfolgerung über die Verteilung von , da dies von der Verteilung der x und der Stärke und Form der Beziehung abhängt . Formal y eine „Mischung von Normalen“ Verteilung hat, die wie alles in der Praxis recht sein können.$y$$x$$y$

Hier sind zwei extreme Beispiele, um dies zu veranschaulichen:

1. Angenommen, es gibt nur zwei mögliche Werte, 0 und 1, und y = 10 x + N ( 0 , 1 ) . Dann hat y eine stark bimodale Verteilung mit Erhebungen bei 0 und 10.$x$$y = 10x + N(0,1)$$y$
2. Nehmen Sie nun die gleiche Beziehung an, aber lassen Sie gleichmäßig auf das Intervall 0-1 mit vielen Werten verteilt sein. Dann wird y fast gleichmäßig über das Intervall 0-10 verteilt (mit einigen halbnormalen Schwänzen an den Rändern).$x$$y$

Tatsächlich kann man, da jede Verteilung mit einer Mischung von Normalen beliebig gut angenähert werden kann, wirklich jede Verteilung für .$y$

Wir erfinden den Fehlerbegriff, indem wir realen Daten ein fiktives Modell auferlegen. Die Verteilung des Fehlerterms hat keinen Einfluss auf die Verteilung der Antwort.

Wir gehen oft davon aus, dass der Fehler normal verteilt ist, und versuchen daher, das Modell so zu konstruieren, dass unsere geschätzten Residuen normal verteilt sind. Dies kann für einige Verteilungen von schwierig sein . In diesen Fällen könnte man sagen, dass die Verteilung der Antwort den Fehlerterm beeinflusst.$y$

Wenn Sie die Antwort als ausschreiben, wobei m das "Modell" (die Vorhersage für y ) und e die "Fehler" sind, kann dies neu angeordnet werden, um y - m = e anzuzeigen . Das Zuweisen einer Verteilung für die Fehler entspricht also dem Anzeigen der Art und Weise, in der Ihr Modell unvollständig ist. Anders ausgedrückt: Es gibt an, inwieweit Sie nicht wissen, warum die beobachtete Reaktion der Wert war, der sie tatsächlich war, und nicht das, was das Modell vorhergesagt hat. Wenn Sie wüssten, dass Ihr Modell perfekt ist, würden Sie eine Wahrscheinlichkeitsverteilung mit der gesamten Masse auf Null für die Fehler zuweisen. Zuweisen eines N

$$\bf{y}=m+e$$ $\bf{m}$$\bf{y}$$\bf{e}$$\bf{y}-m=e$ besagt grundsätzlich, dass die Fehler in Einheiten von σ klein sind. Die Idee ist, dass die Modellvorhersagen für verschiedene Beobachtungen in ähnlichem Maße "falsch" sind und auf der Skala von σ "ungefähr richtig" sind. Im Gegensatz dazu ist eine alternative Zuordnung C a u c h y ( 0 , γ ), die besagt, dass die meisten Fehler klein sind, aber einige Fehler ziemlich groß - das Modell weist gelegentlich "Fehler" oder "Schocker" auf der Vorhersage der Antwort.$N(0,\sigma^{2})$$\sigma$$\sigma$$Cauchy(0,\gamma)$

In gewissem Sinne ist die Fehlerverteilung eher mit dem Modell als mit der Antwort verbunden. Dies ist aus der Nichtidentifizierbarkeit der obigen Gleichung ersichtlich, denn wenn sowohl als auch e unbekannt sind, führt das Addieren eines beliebigen Vektors zu m und das Subtrahieren von e zu demselben Wert von y , y = m + e = ( m + b ) + ( e - b ) = m ' + e $\bf{m}$$\bf{e}$$\bf{m}$$\bf{e}$$\bf{y}$$\bf{y}=m+e=(m+b)+(e-b)=m'+e'$. Die Zuordnung einer Fehlerverteilung und einer Modellgleichung besagt grundsätzlich, welche beliebigen Vektoren plausibler sind als andere.