Systematischer / Messfehler bei linearer Regression

Angenommen, ich habe einen Datensatz in dem die Unsicherheit in den Messungen (die sich aus der Ausbreitung systematischer Fehler aus dem Messgerät ergeben) für jeden unterschiedlich ist Punkt. Wenn ich eine lineare Regression des Datensatzes durchführe, wie berechne ich die Unsicherheit in der Steigung? Ich möchte eine explizite Prozedur oder Formel. ${(x_i,y_i)}$ ${(\Delta x_i,\Delta y_i)}$

linear-model measurement-error errors-in-variables Iván Mauricio Burbano
quelle

Haben Sie ein Gefühl dafür, welcher Messfehler größer ist?

Dimitriy V. Masterov

Meinen Sie mit den Deltas den Unterschied zwischen aufeinanderfolgenden Messungen? Sind Ihre Daten sequentiell? Erwarten Sie, dass der Fehler korreliert? Erwarten Sie, dass die Korrelation abnimmt? Haben Sie unabhängige Replikationen? Weitere Informationen sind erforderlich, um eine konkrete Antwort zu geben.

user3903581

Der Begriff, den Sie suchen, ist Fehlerausbreitung. Sie haben Fehler auf der Eingabeseite und berechnen (genauer gesagt: schätzen) zwei Parameter daraus. Leider beschreibt der Name "lineare Regression" nur ein (beliebtes) Modell, nicht jedoch die Methode, mit der Sie die Parameter schätzen. Für die am häufigsten verwendeten Methoden können Sie wahrscheinlich die Lösung nachschlagen (z. B. kleinste Quadrate). Wenn nicht, können Sie es entweder analytisch berechnen oder durch numerische Auswertung approximieren.

Cherub

Antworten:

Wir können das Experiment als wobei bezeichnen wahre Werte, sind Messfehler, sind ihre "festen" Komponenten unabhängig von der Beobachtung (die sich aus einer falschen Kalibrierung der Sensoren ergeben könnten) und variieren von Beobachtung zu Beobachtung und entsprechen vielen möglichen Faktoren, die wir als zufällig behandeln.

x_{i} = x_{i}^{*} + {\tilde{u}}_{i}

$x_i=x_i^*+\tilde u_i$

y_{i} = y_{i}^{*} + {\tilde{v}}_{i}

$y_i=y_i^*+\tilde v_i$

{\tilde{u}}_{i} = \bar{u} + v_{i}

$\tilde u_i=\bar u + v_i$

{\tilde{v}}_{i} = \bar{v} + u_{i}

$\tilde v_i=\bar v + u_i$

x_{i}^{*}, y_{i}^{*}

$x_i^*, y_i^*$

{\tilde{u}}_{i}, {\tilde{v}}_{i}

$\tilde u_i,\tilde v_i$

\bar{u}, \bar{v}

$\bar u,\bar v$

u, v

$u,v$

Einfache lineare Regression ist und die OLS-Schätzung der Steigung ist Was wir jedoch erhalten, ist

y_{i}^{*} = α + β x_{i}^{*} + e_{i}

$y_i^*=\alpha+\beta x_i^*+e_i$

\hat{β} = \frac{C o v (x^{*}, y^{*})}{V a r (x^{*})}

$\hat\beta=\frac{Cov(x^*,y^*)}{Var(x^*)}$

\tilde{β} = \frac{C o v (x, y)}{V a r (x)} = \frac{C o v (x^{*} + u, y^{*} + v)}{V a r (x^{*} + u)} = \frac{C o v (x^{*}, y^{*}) + C o v (x^{*}, v) + C o v (y^{*}, u) + C o v (u, v)}{V a r (x^{*}) + V a r (u) + 2 C o v (x, u)}

$\tilde\beta=\frac{Cov(x,y)}{Var(x)}=\frac{Cov(x^* + u,y^*+ v)}{Var(x^* + u)}=\frac{Cov(x^*,y^*)+Cov(x^*,v)+Cov(y^*,u)+Cov(u,v)}{Var(x^*) + Var(u) + 2Cov(x,u)}$

Nehmen wir nun an, dass nicht mit und einander korreliert sind (eine ziemlich starke Annahme, die verbessert werden kann, wenn wir mehr Rückschlüsse auf die Art der Fehler haben). Dann ist unsere Schätzung Wir können als Stichprobenvariation von schätzen . Wir müssen auch . Wenn wir ein Experiment haben, bei dem wir mehrmals beobachten können, besteht ein einfacher Ansatz darin, ] zu schätzen . $v,u$ $x^*,y^*$

\tilde{β} = β \frac{σ_{x^{*}}^{2}}{σ_{x^{*}}^{2} + σ_{u}^{2}} \approx β \frac{{\hat{σ}}_{x}^{2} - {\hat{σ}}_{u}^{2}}{{\hat{σ}}_{x}^{2}} = β \hat{λ}

$\tilde\beta=\beta\frac{\sigma^2_{x^*}}{\sigma^2_{x^*}+\sigma^2_{u}}\approx\beta\frac{\hat\sigma^2_x-\hat\sigma^2_u}{\hat\sigma^2_x}=\beta\hat\lambda$

{\hat{σ}}_{x}^{2}

$\hat\sigma^2_x$

x_{i}

$x_i$

σ_{u}^{2}

$\sigma^2_u$

x_{i}^{*}

$x^*_i$

σ_{u}^{2} = E [σ_{x}^{2} | x_{i}^{*}

$\sigma^2_u=E[\sigma^2_x|x^*_i$

Jetzt können wir unser verwenden, das beispielsweise mit der Bootstrap-Methode berechnet wurde, und es für korrigieren, so dass . $\hat\sigma^2_{\tilde\beta}$ $\hat\beta =\tilde\beta /\hat\lambda$

{\hat{σ}}_{\hat{β}}^{2} = \frac{{\hat{σ}}_{\tilde{β}}^{2}}{{\hat{λ}}^{2}}

$\hat\sigma^2_{\hat\beta}=\frac{\hat\sigma^2_{\tilde\beta}}{\hat\lambda^2}$

yshilov
quelle

Ich denke, die Antwort von @yshilov ist definitiv fantastisch, wenn man den Messfehler in den Fehlerterm einbezieht und das Ergebnis signifikant ableitet

\tilde{β} = β \frac{σ_{x}^{2}}{σ_{x}^{2} + σ_{u}^{2}}

$\tilde \beta = \beta \frac{\sigma_x^2}{\sigma_x^2 + \sigma_u^2}$

$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

{\hat{β}}_{1} = \frac{\sum_{i = 1}^{n} (x_{i} - \bar{x}) y_{i}}{\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$\hat \beta_1 = \frac{\sum_{i=1}^n(x_i-\bar x)y_i}{\sum_{i=1}^n(x_i-\bar x)^2}$

x_{i}^{O} = x_{i}^{A} = δ_{i}

$x_i^O=x_i^A=\delta_i$

y_{i}^{O} = y_{i}^{A} + ϵ_{i}

$y_i^O=y_i^A+\epsilon_i$

y_{i}^{A} = β_{0} + β_{1} x_{i}^{A}

$y_i^A=\beta_0 +\beta_1 x_i^A$

y_{i}^{O} = β_{0} + β_{1} (x_{i}^{O} - δ_{i}) + ϵ_{i} = β_{0} + β_{1} x_{i}^{O} + (ϵ_{i} - β_{1} δ_{i})

$y_i^O=\beta_0+\beta_1(x_i^O-\delta_i)+\epsilon_i=\beta_0+\beta_1x_i^O+(\epsilon_i-\beta_1 \delta_i)$

E (ϵ_{i}) = E (δ_{i}) = 0

$E(\epsilon_i)=E(\delta_i)=0$

v a r (ϵ_{i}) = σ_{ϵ}^{2}

$var(\epsilon_i)=\sigma_{\epsilon}^2$

v a r (δ_{i}) = σ_{δ}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (δ_{i} - \bar{δ})^{2}

$var(\delta_i)=\sigma_{\delta}^2 = \frac{1}{n}\sum_{i=1}^n(\delta_i-\bar \delta)^2$

σ_{x}^{2} = \frac{\sum (x_{i}^{A} - \bar{x^{A}})^{2}}{n}

$\sigma_{x}^2=\frac{\sum(x_i^A-\bar {x^A})^2}{n}$

σ_{x δ} = c o v (x^{A}, δ) = \frac{1}{n} \sum_{i = 1}^{n} (x_{i}^{A} - \bar{x_{i}^{A}}) (δ_{i} - \bar{δ})

$\sigma_{x \delta}=cov(x^A,\delta)= \frac{1}{n}\sum_{i=1}^n(x_i^A-\bar {x_i^A})(\delta_i- \bar \delta)$

c o v (x_{i}^{O}, δ) = E (x_{i}^{O} δ) - E (x_{i}^{O}) \cdot E (δ) = E (x_{i}^{O} δ) = E [(x_{i}^{A} + δ) δ] = E (x_{i}^{A} δ) + E (δ^{2})

$cov(x_i^O,\delta)=E(x_i^O\delta)-E(x_i^O)\cdot E(\delta)=E(x_i^O\delta)=E[(x_i^A+\delta)\delta]=E(x_i^A \delta)+E(\delta^2)$

= [E (x_{i}^{A} δ) - E (x_{i}^{A}) \cdot E (δ)] + [v a r (δ) + [E (δ)]^{2}] = c o v (x_{i}^{A}, δ) + σ_{δ}^{2} = σ_{x δ} + σ_{δ}^{2}

$=\big[E(x_i^A \delta)-E(x_i^A)\cdot E(\delta)\big]+\big[var(\delta)+[E(\delta)]^2\big]=cov(x_i^A,\delta)+\sigma_{\delta}^2=\sigma_{x\delta}+\sigma_{\delta}^2$

\bar{x} = E (x_{i})

$\bar x = E(x_i)$

{\hat{β}}_{1}

$\hat \beta_1$

E. ({\hat{β}}_{1}) = E. [\frac{\sum_{ich = 1}^{n} (x_{ich}^{Ö} - - {\bar{x}}^{Ö}) y_{ich}^{Ö}}{\sum_{ich = 1}^{n} (x_{ich}^{Ö} - - {\bar{x}}^{Ö})^{2}}]] = \frac{E. (\sum_{ich = 1}^{n} x_{ich}^{Ö} y_{ich}^{Ö}) - - E. (\sum_{ich = 1}^{n} {\bar{x}}^{Ö} y_{ich}^{Ö})}{\sum_{ich = 1}^{n} E. [(x_{ich}^{Ö} - - E. (x_{ich}^{Ö}))^{2}]]} = \frac{E. (\sum_{ich = 1}^{n} x_{ich}^{Ö} y_{ich}^{Ö}) - - E. (x_{ich}^{Ö}) \cdot E. (\sum_{ich = 1}^{n} y_{ich}^{Ö})}{\sum_{ich = 1}^{n} v ein r (x_{ich}^{Ö})}

$E(\hat \beta_1)=E\Big[\frac{\sum_{i=1}^n(x_i^O-\bar x^O)y_i^O}{\sum_{i=1}^n(x_i^O-\bar x^O)^2}\Big]=\frac{E(\sum_{i=1}^nx^O_iy_i^O)-E(\sum_{i=1}^n \bar x^Oy_i^O)}{\sum_{i=1}^n E\big[(x_i^O-E(x_i^O))^2\big]}=\frac{E(\sum_{i=1}^nx_i^Oy_i^O)-E(x_i^O)\cdot E(\sum_{i=1}^n y_i^O)}{\sum_{i=1}^nvar(x_i^O)}$

= \frac{\sum_{ich = 1}^{n} c Ö v (y_{ich}^{Ö}, x_{ich}^{Ö})}{\sum_{ich = 1}^{n} v ein r (x_{ich}^{Ö})} = \frac{\sum_{ich = 1}^{n} c Ö v (β_{0} + β_{1} x_{ich}^{Ö} + ϵ_{ich} - - β_{1} δ_{ich}, x_{ich}^{Ö})}{\sum_{ich = 1}^{n} v ein r (x_{ich}^{Ö})} = \frac{β_{1} \cdot \sum_{ich = 1}^{n} v ein r (x_{ich}^{Ö}) - - β_{1} \cdot \sum_{ich = 1}^{n} c Ö v (x_{ich}^{Ö}, δ_{ich})}{\sum_{ich = 1}^{n} v ein r (x_{ich}^{Ö})}

$=\frac{\sum_{i=1}^ncov(y_i^O,x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\sum_{i=1}^ncov(\beta_0+\beta_1x_i^O+\epsilon_i-\beta_1\delta_i,~x_i^O)}{\sum_{i=1}^nvar(x_i^O)}=\frac{\beta_1\cdot \sum_{i=1}^nvar(x_i^O)-\beta_1\cdot \sum_{i=1}^ncov(x_i^O, \delta_i)}{\sum_{i=1}^nvar(x_i^O)}$

= β_{1} \cdot [1 - - \frac{\sum_{ich = 1}^{n} c Ö v (x_{ich}^{Ö}, δ_{ich}) /. n}{\sum_{ich = 1}^{n} v ein r (x_{ich}^{EIN} + δ_{ich}) /. n}]] = β_{1} \cdot [1 - - \frac{σ_{x δ} + σ_{δ}^{2}}{σ_{x}^{2} + 2 c Ö v (x_{ich}^{EIN}, δ_{ich}) + σ_{δ}^{2}}]] = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]]

$=\beta_1 \cdot \Big[ 1-\frac{{\sum_{i=1}^ncov(x_i^O,\delta_i)}/{n}}{\sum_{i=1}^nvar(x_i^A+\delta_i)/n}\Big]=\beta_1 \cdot\Big[1-\frac{\sigma_{x\delta}+\sigma_{\delta}^2}{\sigma_x^2+2cov(x_i^A,\delta_i)+\sigma_{\delta}^2}\Big] =\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

E ({\hat{β}}_{1}) = β_{1} \cdot [\frac{σ_{x}^{2} + σ_{x δ}}{σ_{x}^{2} + 2 σ_{x δ} + σ_{δ}^{2}}]

$E(\hat \beta_1)=\beta_1 \cdot\Big[\frac{\sigma_x^2+\sigma_{x\delta}}{\sigma_x^2+2\sigma_{x\delta}+\sigma_{\delta}^2}\Big]$

son520804
quelle

Ich habe ein ähnliches Problem - hier gepostet - und noch keine bestimmte Antwort. Was ich im Moment getan habe, ist einfach eine Reihe sehr ähnlicher Xs zu sammeln und zu prüfen, ob es innerhalb dieser Zeilen eine große Variation für Y gibt. Ein anderer Ansatz könnte eine Simulation sein: Sie verwenden ein einzelnes X aus Ihrem Datensatz, replizieren jedoch die Linien, die dem systematischen Fehler des Prädiktors folgen (so etwas wie rnorm (..., 0,0.3)). Das Konfidenzintervall für die Steigung kann der systematischen Fehlerspanne ähnlich sein.

Paolo Nadalutti
quelle

Ich würde einen parametrischen Bootstrap für die Daten empfehlen. Dies bedeutet, dass neue Datensätze generiert werden, die dem realen Datensatz ähnlich sind, sich jedoch in dem Ausmaß unterscheiden, das Ihre Unsicherheit bei jeder Beobachtung impliziert.

rnorm $\Delta$

For each b in 1...B:
    x_PB = rnorm(x, x_se)
    y_PB = rnorm(y, y_se)
    r[b] = cor(x_PB, y_PB)

Schauen Sie sich dann die Verteilung der Werte in r an.

rcorty
quelle