Erwarteter Wert und Varianz der Schätzung des Steigungsparameters

Ich lese einen Text, "Wahrscheinlichkeit und Statistik" von Devore. Ich betrachte 2 Punkte auf Seite 740: den erwarteten Wert und die Varianz der Schätzung von $\beta_1$ , die der Steigungsparameter in der linearen Regression $Y_i = \beta_0 + \beta_1 X_i + \epsilon_i$ . $\epsilon_i$ ist eine Gaußsche ( $\mu = 0, variance=\sigma^2$ ) Zufallsvariable und $\epsilon_i$ sind unabhängig.

Die Schätzung von $\beta_1$ kann ausgedrückt werden als: $\hat{\beta_1} = \frac{\sum (x_i - \bar{x}) (Y_i - \bar{Y})}{\sum(x_i-\bar{x})^2} = \frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}$ , wobei $S_{xx} = \sum (x_i - \bar{x})^2$ . Meine Frage lautet also: Wie leite ich $E(\hat{\beta_1})$ und $Var(\hat{\beta_1})$ ? Das Buch hat bereits die Ergebnisse angegeben: $E(\hat{\beta_1}) = \beta_1$ und $Var(\hat{\beta_1}) = \frac{\sigma^2}{S_xx}$ .

Meine Arbeit in der Ableitung: $E\left(\frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}\right) = E\left(\frac{\sum (x_i - \bar{x})(\beta_0 + \beta_1 x_i + \epsilon)}{S_{xx}}\right) = E\left(\frac{\sum (x_i - \bar{x})\beta_1 x_i}{S_{xx}}\right)$ , da $\sum(x_i - \bar{x})c = 0$ und $E(c\epsilon) = 0$ . Aber ich stecke fest.

Auch $Var\left(\frac{\sum (x_i - \bar{x})Y_i}{S_{xx}}\right) = Var\left(\frac{\sum (x_i - \bar{x})(\beta_0 + \beta_1 x_i + \epsilon)}{S_{xx}}\right) = Var\left(\frac{\sum (x_i - \bar{x})\epsilon}{S_{xx}}\right) = Var\left(\frac{\sum (x_i - \bar{x})}{S_{xx}}\right) \sigma^2$ , aber ich stecke fest.

regression self-study linear jrand
quelle

Mein Kommentar am 22. Juni 2011 in der Antwort von Benutzer whuber sollte den Index

in den

und die Tatsache nutzen, dass die Fehlerbegriffe

unabhängig sind.

i

$i$

ϵ

$\epsilon$

ϵ_{i}

$\epsilon_i$

Rand

V a r (\hat{β_{1}}) = V a r (\sum \frac{(x_{i} - \bar{x}) y_{i}}{S_{x x}}) = V a r (\sum \frac{(x_{i} - \bar{x}) ϵ_{i}}{S_{x x}}) = V a r (\frac{(x_{1} - \bar{x}) ϵ_{1}}{S_{x x}} + \frac{(x_{2} - \bar{x}) ϵ_{2}}{S_{x x}} + \dots + \frac{(x_{n} - \bar{x}) ϵ_{n}}{S_{x x}}) = \frac{(x_{1} - \bar{x})^{2} σ^{2}}{(S_{x x})^{2}} + \frac{(x_{2} - \bar{x})^{2} σ^{2}}{(S_{x x})^{2}} + \dots + \frac{(x_{n} - \bar{x})^{2} σ^{2}}{(S_{x x})^{2}} = σ^{2} [\sum \frac{(x_{i} - \bar{x})^{2}}{(S_{x x})^{2}}] = \frac{σ^{2}}{S_{x x}}

$\mathrm{Var}(\hat{\beta_1}) = \mathrm{Var}\left(\sum\frac{(x_i - \bar{x})y_i}{S_{xx}}\right) = \mathrm{Var}\left(\sum{\frac{(x_i-\bar{x})\epsilon_i}{S_{xx}}}\right) = \mathrm{Var}\left(\frac{(x_1 - \bar{x})\epsilon_1}{S_{xx}} + \frac{(x_2 - \bar{x})\epsilon_2}{S_{xx}} + \ldots + \frac{(x_n - \bar{x})\epsilon_n}{S_{xx}}\right) = \frac{(x_1 - \bar{x})^2 \sigma^2}{(S_{xx})^2} + \frac{(x_2 - \bar{x})^2 \sigma^2}{(S_{xx})^2} + \ldots + \frac{(x_n - \bar{x})^2 \sigma^2}{(S_{xx})^2} = \sigma^2 \left[\sum{\frac{(x_i-\bar{x})^2}{(S_{xx})^2}}\right] = \frac{\sigma^2}{S_{xx}}$

jrand

Die Standard- "Antwort" ist eine Unterschätzung, sie ignoriert die Varianz von S_ {xx}.

Climbert8

In der Situation, nach der gefragt wird, wird

konditioniert, sodass es eher als fest als zufällig behandelt wird

X

$X$

Glen_b

Antworten:

= $E\left(\frac{\sum (x_i - \bar{x})\beta_1 x_i}{S_{xx}}\right)$ weil alles konstant ist. Der Rest ist nur Algebra. Offensichtlich müssen Sie. Wenn man die Definition vonund die beiden Seiten vergleicht, vermutet man $\frac{\sum (x_i - \bar{x})\beta_1 x_i}{S_{xx}}$ $\sum (x_i - \bar{x}) x_i = S_{xx}$ $S_{xx}$ . Dies folgt leicht aus der Definition von . $\sum(x_i - \bar{x}) \bar{x} = 0$ $\bar{x}$
= $Var\left(\frac{\sum (x_i - \bar{x})\epsilon}{S_{xx}}\right)$ . Mit der Definition vonwird das gewünschte Ergebnis erzielt. $\sum \left[\frac{(x_i - \bar{x})^2}{S_{xx}^2}\sigma^2\right]$ $S_{xx}$

whuber
quelle

Für den 2. Punkt, die Varianz, sollte die Gleichung lauten:

V a r (\frac{\sum (x_{i} - \bar{x}) ϵ}{S_{x x}}) = V a r (\frac{(x_{1} - \bar{x}) ϵ + (x_{2} - \bar{x}) ϵ + \dots + (x_{n} - \bar{x}) ϵ}{S_{x x}}) = (\frac{\sum_{i}^{n} (x_{i} - \bar{x})^{2}}{S_{x x}^{2}}) \times σ^{2} = \frac{S_{x x}}{S_{x x}^{2}} \times σ^{2} = \frac{σ^{2}}{S_{x x}}

$Var\left(\frac{\sum (x_i - \bar{x})\epsilon}{S_{xx}}\right) = Var\left( \frac{(x_1 - \bar{x})\epsilon + (x_2 - \bar{x})\epsilon + \ldots + (x_n - \bar{x})\epsilon}{S_{xx}} \right) = \left( \frac{ \sum_i^{n} (x_i - \bar{x})^2} {S_{xx}^2} \right) \times \sigma^2 = \frac{S_{xx}}{S_{xx}^2} \times \sigma^2 = \frac{\sigma^2}{S_{xx}}$

jrand

@jrand Ja, genau das habe ich geschrieben (obwohl Ihre erste Gleichheit nichts bewirkt: Es ist nur eine mühsamere Art, die Summe zu schreiben). Der springende Punkt - und die Sache, an die man sich erinnern sollte - ist, dass, wenn

eine Zufallsvariable mit einer Varianz ist und

konstant ist,

ε

$\varepsilon$

λ

$\lambda$

V a r (λ ε)

$Var(\lambda \varepsilon)$

λ^{2} V a r (ε)

$\lambda^2 Var(\varepsilon)$

whuber

Wenn ich die Notation nicht falsch verstehe, ist dies eine falsche Aussage:

. Die Menge auf der linken Seite ist die Summe der Quadrate und die andere ist das Quadrat der Summe.

\sum_{i}^{n} (x_{i})^{2} = {(\sum_{i}^{n} x_{i})}^{2}

$\sum_i^n (x_i)^2 = \left( \sum_i^n x_i \right)^2$

Rand

@jrand Sie haben Recht: In meiner Antwort ist ein Tippfehler enthalten. Vielen Dank für den Hinweis. Ich habe es neu formatiert, um den Fehler zu beheben und die Logik klarer zu machen.

whuber