Sind bei der linearen Regression der Fehler und die Prädiktorvariable unabhängig?

Wir haben ein einfaches lineares Regressionsmodell. Unsere Annahmen sind:

$Y_i =\beta_0+\beta_1X_i+ \varepsilon_i$ , $i=1, \cdots, n$

$\varepsilon_i \sim N(0, \sigma^2)$

$Var(\varepsilon_i|X_i=x)=\sigma^2$

$\varepsilon_1, \cdots, \varepsilon_n$ sind voneinander unabhängig.

$\\$

Reichen diese Hypothesen aus, um zu behaupten, dass ? $\varepsilon_i|X_i=x \sim N(0, \sigma^2)$

regression independence DGRasines
quelle

In hat keinen Index. Ist das beabsichtigt? Auch in der allerletzten Formel hat keinen Index. Ist das wieder beabsichtigt? Sind und Vektoren in beiden Fällen?

Var (ε_{i} | X = x) = σ^{2}

$\operatorname{Var}(\varepsilon_i|X=x)=\sigma^2$

X

$X$

X

$X$

X

$X$

x

$x$

Richard Hardy

@RichardHardy Sie sind Notenvektoren, das OP sagt "einfache" lineare Regression, was neben dem konstanten Term nur eine erklärende Variable bedeutet.

Alecos Papadopoulos

@ RichardHardy Nein, es war ein Fehler.

DGRasines

@AlecosPapadopoulos, ich habe bemerkt, dass dies eine einfache Regression war, aber dann bedeutet einen Spaltenvektor und bedeutet ein Element eines Vektors. Wie der Autor feststellte, war das Schreiben von anstelle von ein Fehler.

X

$X$

X_{i}

$X_i$

X

$X$

X_{i}

$X_i$

Richard Hardy

Ihr Titel und Ihre Körperfragen scheinen nicht dasselbe zu fragen.

Glen_b -State Monica

Antworten:

Hier ist ein interessantes Gegenbeispiel.

Definieren Sie eine Verteilungsfunktion

G (x) = \frac{2}{\sqrt{2 π}} \exp (- - x^{2} /. 2) ich (- - t \leq x \leq 0 oder t \leq x)

$g(x) = \frac{2}{\sqrt{2\pi}}\exp(-x^2/2)I(-t \le x \le 0 \text{ or } t \le x)$

für . ( ist die Anzeigefunktion.) $t = \sqrt{2\log(2)} \approx 1.17741$ $I$

Die Darstellung von ist hier blau dargestellt. Wenn wir , erscheint seine Darstellung in rot. $g$ $h(x) = g(-x)$

Die direkte Berechnung zeigt, dass jede Variable mit der Verteilung Mittelwert Null und die Einheitsvarianz hat. Konstruktionsbedingt hat eine gleiche Mischung von mit (dessen PDF ) eine Verteilungsfunktion proportional zu sie ist Standardnormal (mit Mittelwert Null und Einheitsvarianz). $Y$ $g$ $Y$ $-Y$ $h$ $\exp(-x^2/2)$

Lassen Sie eine Bernoulli -Verteilung haben. Angenommen, hat die Verteilung und hat die Verteilung , wobei alle unabhängig sind. Die Annahme über ist irrelevant (oder per Definition von ) und alle anderen Annahmen gelten durch die Konstruktion, jedoch keine der bedingten Verteilungen sind für jeden Wert von Normal . $X_i$ $(1/2)$ $\varepsilon_i|X=0$ $g$ $\varepsilon_i|X=1$ $h$ $(X_i, \varepsilon_i)$ $Y_i$ $Y_i$ $\varepsilon_i | X_i = x$ $x$

whuber
quelle

(+1) Dies ist der wahre Mehrwert von CV. Danke dafür.

Alecos Papadopoulos

Der Spaß in Mathe ... So gut!

Antoni Parellada

Die Annahme, dass die bedingte Varianz gleich der bedingungslosen Varianz ist, zusammen mit der Annahme, dass $E(\varepsilon_i)=0$ impliziert einen bedingten Mittelwert von Null, nämlich

\begin{matrix} (1) & {V a r (ε_{i} ∣ X_{i}) = V a r (ε_{i})} and {E (ε_{i}) = 0} ⟹ E (ε_{i} ∣ X_{i}) = 0 \end{matrix}

$\{{\rm Var}(\varepsilon_i \mid X_i) = {\rm Var}(\varepsilon_i)\} \;\text {and}\;\{E(\varepsilon_i)=0\}\implies E(\varepsilon_i \mid X_i)=0 \tag{1}$

Die beiden Annahmen implizieren dies

E (ε_{i}^{2} ∣ X_{i}) - [E (ε_{i} ∣ X_{i}]^{2} = E (ε_{i}^{2})

$E(\varepsilon_i^2 \mid X_i) -[E(\varepsilon_i \mid X_i]^2 = E(\varepsilon_i^2)$

⟹ E (ε_{i}^{2} ∣ X_{i}) - E (ε_{i}^{2}) = [E (ε_{i} ∣ X_{i}]^{2}

$\implies E(\varepsilon_i^2 \mid X_i) - E(\varepsilon_i^2) = [E(\varepsilon_i \mid X_i]^2$

Ad absurdum , nimm das an $E(\varepsilon_i \mid X_i)\neq 0 \implies [E(\varepsilon_i \mid X_i]^2 >0$

Dies impliziert wiederum, dass $E(\varepsilon_i^2 \mid X_i) > E(\varepsilon_i^2)$ . Nach dem Gesetz der wiederholten Erwartungen haben wir $E(\varepsilon_i^2) = E\big[ E(\varepsilon_i^2 \mid X_i)\big]$ . Zur Klarheit einstellen $Z \equiv E(\varepsilon_i^2 \mid X_i)$ . Dann haben wir das

E (ε_{i} ∣ X_{i}) \neq 0 ⟹ Z > E (Z)

$E(\varepsilon_i \mid X_i)\neq 0 \implies Z > E(Z)$

Dies kann jedoch nicht sein, da eine Zufallsvariable nicht streng größer sein kann als ihr eigener erwarteter Wert. Damit $(1)$ muss halten.

Beachten Sie, dass das Gegenteil nicht unbedingt der Fall ist .

Was ein Beispiel angeht, um zu zeigen, dass selbst wenn die obigen Ergebnisse zutreffen und selbst unter der Annahme der marginalen Normalität, die bedingte Verteilung nicht unbedingt mit der marginalen Verteilung identisch ist (was die Unabhängigkeit begründen würde), hat mich das geschlagen.

Alecos Papadopoulos
quelle

Fügen wir eine zusätzliche Annahme hinzu, dass das wahre Modell tatsächlich linear ist und

E (ε_{i} | X_{i}) = 0

$\operatorname{E}(\varepsilon_i|X_i)=0$ . Wir haben dann 1. bedingungslose Normalität, 2. bedingte mittlere Null und 3. bedingte konstante Varianz. Ich sehe immer noch nicht, ob (und wenn ja, wie) dies zu einer bedingten Normalität führt . (Die Sequenz würde umgekehrt gut funktionieren: bedingte Normalität + bedingte mittlere Null + bedingte konstante Varianz -> {bedingungslose Normalität + mittlere Null + konstante Varianz.})

Richard Hardy

@RichardHardy Wo schreibe ich in meiner Antwort, dass sich die bedingte Normalität aus den von Ihnen angegebenen Annahmen ergibt? Ich schreibe ausdrücklich "bedingte Normalität folgt aus dem Nichts ".

Alecos Papadopoulos

Wahr. Aber Sie "beschuldigen" die Tatsache, dass das wahre Modell nichtlinear sein kann. Wenn ich diese zusätzliche Annahme über das wahre Modell hinzufügen und die Frage wiederholen könnte, würde sich Ihre Antwort ändern?

Richard Hardy

@RichardHardy Wo mache ich das? Die Linearität / Nichtlinearität hat mit der mittleren Unabhängigkeit zu tun, nicht mit der bedingten Normalität.

Alecos Papadopoulos

Danke, das dachte ich auch. Ich konnte jedoch kein einfaches Gegenbeispiel finden, bei dem alle Bedingungen (plus die, die besagt, dass das wahre Modell linear ist) erfüllt sind, die bedingte Verteilung jedoch nicht normal ist . Ein Gegenbeispiel ist immer ein guter Weg, um eine Hypothese zu widerlegen, deshalb dachte ich, es wäre schön, eine zu finden. Wie auch immer, deine ist eine nette Antwort.

Richard Hardy