Ausgelassener variabler Bias in der logistischen Regression vs. ausgelassener variabler Bias in der gewöhnlichen Regression der kleinsten Quadrate

Ich habe eine Frage zu ausgelassenen variablen Verzerrungen in der logistischen und linearen Regression.

Angenommen, ich lasse einige Variablen aus einem linearen Regressionsmodell weg. Stellen Sie sich vor, dass diese ausgelassenen Variablen nicht mit den in meinem Modell enthaltenen Variablen korreliert sind. Diese ausgelassenen Variablen beeinflussen die Koeffizienten in meinem Modell nicht.

Aber in der logistischen Regression habe ich gerade gelernt, dass das nicht stimmt. Durch ausgelassene Variablen werden die Koeffizienten auf eingeschlossene Variablen verschoben, auch wenn die ausgelassenen Variablen nicht mit den eingeschlossenen Variablen korreliert sind. Ich habe eine Arbeit zu diesem Thema gefunden, aber ich kann weder Kopf noch Zahl daraus machen.

Hier ist das Papier und einige Powerpoint-Folien.

Die Tendenz ist anscheinend immer gegen Null. Kann mir jemand erklären, wie das geht?

regression logistic least-squares bias ConfusedEconometricsUndergrad
quelle

Kennen Sie die Entstehung des logistischen Regressionsmodells aus einem zugrunde liegenden linearen Regressionsmodell mit "latenten Variablen"?

Alecos Papadopoulos

@AlecosPapadopoulos Ich für meinen Teil nicht. Was ist das Gericht?

Alexis

Es gibt andere Artikel, die dies diskutieren, aber der, mit dem Sie verlinkt sind, ist der einfachste, den ich kenne. Ich glaube also nicht, dass ich mich verbessern kann.

Maarten Buis

Sehr geehrter Herr Papadopoulos, ich habe die Idee der latenten Variablen gelesen. Warum fragst du?

ConfusedEconometricsUndergrad

@ Alexis Siehe z. B. diesen Beitrag unter stats.stackexchange.com/questions/80611/… und den Wikipedia-Artikel unter en.wikipedia.org/wiki/… . Dieser Ansatz verdeutlicht auch, dass es die Annahme ist, die wir für den Fehlerterm des zugrunde liegenden Modells treffen, die bestimmt, welches Modell wir auf der Ebene der Wahrscheinlichkeiten erhalten. Wenn wir als weiteres Beispiel annehmen, dass der zugrunde liegende Fehler einer Uniform folgt, erhalten wir das lineare Wahrscheinlichkeitsmodell (siehe stats.stackexchange.com/questions/81789

Alecos Papadopoulos,

Antworten:

Der Fall des "Attenuation Bias" kann klarer dargestellt werden, wenn wir das "Probit" -Modell untersuchen - aber das Ergebnis überträgt sich auch auf die logistische Regression.

Unter den bedingten Wahrscheinlichkeitsmodellen (logistische (logit), "probit" und "lineare Wahrscheinlichkeits" Modelle) können wir ein latentes (nicht beobachtbares) lineares Regressionsmodell postulieren :

y^{*} = X β + u

$y^* = X\beta + u$

$y^*$ $X$ $F_U(u)= \Phi(u)$

$y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

$y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

$u$ $X$ $X$ $X\beta$

$X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

$X_2$ $X_1$

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

aufgrund der Schließung unter Hinzufügung der Normalverteilung (und der Annahme der Unabhängigkeit). Anwenden der gleichen Logik wie zuvor, hier haben wir

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

$\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

$(1)$ $(2)$

$b_1$

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

Das ist das "Bias gegen Null" -Ergebnis.

$\epsilon$

Alecos Papadopoulos
quelle