Annahmen zur verbleibenden Regressionsverteilung

12

Warum ist es notwendig, die Verteilungsannahme auf die Fehler zu setzen, dh

$y_i = X\beta + \epsilon_{i}$ mit $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$ .

Warum nicht schreiben

$y_i = X\beta + \epsilon_{i}$ mit $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$ ,

wobei in jedem Fall $\epsilon_i = y_i - \hat{y}$ .
Ich habe gesehen, wie betont wurde, dass die Verteilungsannahmen auf den Fehlern beruhen, nicht auf den Daten, sondern ohne Erklärung.

Ich verstehe den Unterschied zwischen diesen beiden Formulierungen nicht wirklich. An einigen Stellen sehe ich Verteilungsannahmen, die auf die Daten angewendet werden (Bayes'sches Lit. scheint es meistens zu sein), aber meistens werden die Annahmen auf die Fehler angewendet.

Warum sollte / sollte man sich bei der Modellierung dafür entscheiden, mit Annahmen über die eine oder andere zu beginnen?

regression normal-distribution residuals assumptions notation bill_e
quelle

Erstens ist es nicht "notwendig", es hängt davon ab, was Sie vorhaben. Es gibt einige gute Antworten, aber ich denke, der springende Punkt ist die zugrunde liegende Annahme der Kausalität im Sinne der Xs, die das y "verursachen", und wenn man es so betrachtet, sieht man, dass die Verteilung von y durch "verursacht" wird die Verteilung der rhs, dh die Xs und die Fehler (falls vorhanden). Sie können mit sehr begrenzten Verteilungsannahmen und insbesondere ohne Normalität viele ökonometrische Untersuchungen durchführen. Danke Gott.

PatrickT

3

ist nicht

, und der Mittelwert des

‚S ist nicht das gleiche wie die Probe Schätzung davon. Welches ist zu sagendass das zweitewas nicht eigentlich das gleiche wie das erste ist, aber wenn man es mit seiner Erwartung ersetzen (

), wäre die zwei gleichwertig.

\hat{y}

$\hat y$

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

Glen_b -Reinstate Monica

Was ist

? Und wenn

mit variiert

, tut , warum nicht

variieren? Bitte überlegen Sie sich, welche Notation Sie verwenden möchten, den Vektor oder die Matrix. Nun , wenn wir davon ausgehen , dass

Ihre Schreibweise ist mehr als bizzare:

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$ dh Sie definieren die Verteilung von

in Bezug auf sich selbst und alle anderen Beobachtungen

!

y_{i}

$y_i$

y_{j}

$y_j$

mpiktas

1

Ich habe die Frage abgelehnt, weil ich denke, dass die Notation verwirrend ist und dies bereits zu mehreren subtil widersprüchlichen Antworten geführt hat.

mpiktas

9

In einer linearen Regression ist es üblich, Analysen durchzuführen und Ergebnisse abhängig von , dh abhängig von "den Daten", abzuleiten . Was Sie also brauchen, ist, dass normal ist, das heißt, dass Sie normal sein müssen. Wie Peter Floms Beispiel zeigt, kann man eine Normalität von ohne eine Normalität von haben. Da Sie also die Normalität von brauchen, ist dies die vernünftige Annahme. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

ekvall
quelle

8

Ich würde die zweite Definition als schreiben

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

oder (wie Karl Oskar +1 vorschlägt)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

dh die Modellannahme ist, dass die Antwortvariable normal um die Regressionslinie (die eine Schätzung des bedingten Mittels ist) mit konstanter Varianz . Dies ist nicht das Gleiche wie die Annahme, dass normal verteilt ist, da der Mittelwert der Verteilung von abhängt . $\sigma^2$ $y_i$ $X_i$

Ich glaube, ich habe ähnliche Formulierungen in der Literatur zum maschinellen Lernen gesehen. soweit ich sehen kann , ist es entsprechend der ersten Definition, alle I getan haben , ist die zweite Formulierung ein wenig anders rexpress die zu eliminieren ‚s und die s. $\epsilon_i$ $\hat{y}$

Dikran Beuteltier
quelle

3

Der Unterschied lässt sich am einfachsten anhand eines Beispiels veranschaulichen. Hier ist eine einfache:

Angenommen, Y ist bimodal, wobei die Modalität durch eine unabhängige Variable berücksichtigt wird. Angenommen, Y ist die Größe und Ihre Stichprobe (aus welchem Grund auch immer) besteht aus Jockeys und Basketballspielern. zB inR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

Die erste Dichte ist sehr ungewöhnlich. Aber die Residuen des Modells sind extrem normal.

Was die Gründe für diese Einschränkung angeht, lasse ich dies von jemand anderem beantworten.

Peter Flom - Wiedereinsetzung von Monica
quelle

1

Vielen Dank! Ich verstehe, was Sie mit einer bimodalen Verteilung meinen. Folgefrage: Was ist, wenn die Abweichungen der Daten unterschiedlich sind (Heteroskedastizität?)? Sagen wir ... alle Jockeys sind klein, aber die Höhen der Basketballspieler variieren stark. Vielleicht für sie, groß (100,78,10). Wie ändert eine Situation wie diese Ihre Annahmen über

oder

?

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

bill_e

In diesem Fall wäre Heteroskedastizität ein Problem, und Sie müssten eine andere Form der Regression oder möglicherweise eine Transformation verwenden, oder Sie könnten eine andere Variable hinzufügen (in diesem albernen Beispiel könnte dies die im Basketball gespielte Position tun).

Peter Flom - Wiedereinsetzung von Monica

Ich bin nicht sicher, ob die Formulierung darauf hindeuten soll, dass die ys normalverteilt sind, nur dass sie eine normale bedingte Verteilung haben.

Dikran Marsupial

2

Sie müssen eine i auf Ihre zweite Formulierung hinzufügen suscripted:
, weil mit variieren entlang muss in der Lage .

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

Das bemerkt wurde, was ? Es ist . Dies führt zu der Formulierung @DikranMarsupial präsentiert: Es lohnt sich zu erkennen , dass dies genau die gleiche wie die erste Formulierung, weil beide stipulate Normalverteilungen und die erwarteten Werte gleich sind. Das heißt: $\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

(Und natürlich die Varianzen gleich sind.) Mit anderen Worten, ist diesnichtinAnnahmen ein Unterschied, sondern einfach ein Notations Unterschied.

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$

Es stellt sich also die Frage, ob es einen Grund gibt, die Idee lieber mit der ersten Formulierung zu präsentieren.

Ich denke , die Antwort ist ja aus zwei Gründen:

$Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
$Y|\bf X$ $Y|\bf X$

Ich glaube, dass diese Verwirrungen eher die zweite Formulierung als die erste verwenden.

gung - Wiedereinsetzung von Monica
quelle

1

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$ and

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$ . For both of these things to be true,

\hat{y}

$\hat{y}$ can only be

X β

$X\beta$ .

Dikran Marsupial

Annahmen zur verbleibenden Regressionsverteilung

Antworten: