Lineare Regression mit Schussrauschen

Ich suche nach der richtigen statistischen Terminologie, um das folgende Problem zu beschreiben.

Ich möchte ein elektronisches Gerät charakterisieren, das eine lineare Antwort hat

$Y = \beta_0 + \beta_1 X + \epsilon$

Dabei ist ein Begriff aufgrund des Ausleserauschens des Geräts. Um zu bestimmen würde ich eine Reihe von Antworten und die Standard-Toolbox für lineare Regression anwenden. Aber ich weiß nicht genau, was die sind, weil ich eine Quelle verwende, die von Schussgeräuschen betroffen ist. Das ist , ich weiß , dass , wenn ich den Regler an der Quelle auf einen bestimmten Wert dann (eine Gauß'sche mit durchschnittlich und Varianz ). $\epsilon \sim N(0,\sigma^2_{ro})$ $\beta_0, \beta_1, \sigma^2_{ro}$ $\{X_i,Y_i\}$ $X_i$ $J_i$ $X_i \sim N(\mu, \mu)$ $\mu$ $\mu$

Dies sieht aus wie ein Modell für Fehler in Variablen der linearen Regression ( http://en.wikipedia.org/wiki/Errors-in-variables_models ), bei dem es nicht darum geht, mein Gerät über seinen gesamten Eingabebereich zu charakterisieren Während der Messungen muss ich den Wert von ändern , und jetzt ist die Varianz von nicht festgelegt, sondern hängt von (bis J_i) ab, obwohl dies aufgrund des Schussrauschens bei nicht bedeutet, dass die Die Varianz von ist dieselbe wie die Varianz von . $J_i$ $X_i$ $X_i$ $X_i=X_j$ $X_i$ $X_j$

Wie heißt dieses Modell und gibt es Artikel, in denen ich herausfinden kann, dass ein solches Problem angegangen wird? Oder formuliere ich falsch?

regression maximum-likelihood heteroscedasticity errors-in-variables GVstats
quelle

Var (Xi) = μ = E (Xi)> 0. Wenn dies behoben wäre, wäre dies ein Fehler im Variablenmodell mit dem σ / μ. Es liegt nicht daran, dass sich μ mit dem Xi ändert. Ich habe Modelle mit nicht konstanter Varianz in Y und Modelle mit Fehlern in Variablen gesehen, aber nicht diese Art von Modell, das Fehler in Variablen mit nicht konstanter Varianz aufweist. Wenn die Varianz in Y manchmal nicht konstant ist, ist es möglich, die Varianz als Funktion des Wertes der Kovariate x zu modellieren. Vielleicht könnte so etwas für den Fehler in X getan werden.

^{2}

$^2$

_{r} o

$_ro$

Michael R. Chernick

Antworten:

Das Wahrscheinlichkeitsmodell für ein solches Schussrauschen ist

X \sim Poisson (μ), Y | X \sim Normal (β_{0} + β_{1} X, σ^{2}) .

$X \sim \text{Poisson}(\mu),\quad Y|X \sim \text{Normal}(\beta_0+\beta_1 X, \sigma^2).$

Eine gute Schätzung von ist der Mittelwert von und eine gute Schätzung von wird durch gewöhnliche kleinste Quadrate geliefert, da die Werte von als unabhängig, identisch verteilt und normal angenommen werden. $\mu$ $X$ $(\beta_0, \beta_1)$ $Y$

Die von OLS gegebene Schätzung von ist hier jedoch aufgrund der Zufälligkeit von unangemessen . Die maximale Wahrscheinlichkeitsschätzung ist $\sigma^2$ $X$

s^{2} = \frac{S_{x y}^{2} - 2 S_{x} S_{y} S_{x y} + S_{x x} (S_{y}^{2} - S_{y y}) + S_{x}^{2} S_{y y}}{S_{x}^{2} - S_{x x}} .

$s^2 = \frac{S_{xy}^2 - 2 S_x S_y S_{xy} + S_{xx}\left(S_y^2 - S_{yy}\right) + S_x^2 S_{yy}}{S_x^2 - S_{xx}}.$

In dieser Notation ist der mittlere Wert, ist der Mittelwert der Produkte der und Werte usw. $S_x$ $X$ $S_{xy}$ $X$ $Y$

Wir können erwarten, dass sich die Standardschätzungsfehler in den beiden Ansätzen (OLS, was nicht ganz richtig ist, und MLE, wie hier beschrieben) unterscheiden . Es gibt verschiedene Möglichkeiten, um ML-Standardfehler zu erhalten: Konsultieren Sie eine Referenz. Da die Log-Wahrscheinlichkeit relativ einfach ist (insbesondere wenn die Poisson- Verteilung durch eine Normalverteilung für große angenähert wird ), können diese Standardfehler auf Wunsch in geschlossener Form berechnet werden. $(\mu)$ $(\mu,\mu)$ $\mu$

Als Beispiel habe ich Werte aus einer Poisson -Verteilung generiert : $12$ $X$ $(100)$

94,99,106,87,91,101,90,102,93,110,97,123

ich dann , und , habe ich entsprechende Werte generiert : $\beta_0=3$ $\beta_1=1/2$ $\sigma=1$ $12$ $Y$

47.4662,53.5622,54.6656,45.3592,49.0347,53.8803,48.3437,54.2255,48.4506,58.6761,50.7423,63.9922

Der mittlere Wert , die Schätzung von . Die OLS-Ergebnisse (die mit dem MLE der Koeffizienten identisch sind) schätzen als und als . Es ist keine Überraschung, dass die Schätzung des Abschnitts von seinem wahren Wert von abweicht , da diese Werte weit vom Ursprung entfernt bleiben. Die Schätzung der Steigung liegt nahe am wahren Wert von . $X$ $99.4167$ $\mu$ $\beta_0$ $1.24$ $\beta_1$ $0.514271$ $\beta_0$ $3$ $X$ $\beta_1$ $0.5$

Die OLS-Schätzung von ist jedoch , weniger als der wahre Wert von . Die MLE von arbeitet , um aus . (Es ist ein Unfall, dass beide Schätzungen niedrig sind und der MLE größer als die OLS-Schätzung ist.) $\sigma^2$ $0.715$ $1$ $\sigma^2$ $0.999351$

Zahl

Die Linie ist sowohl die OLS-Anpassung als auch die maximale Wahrscheinlichkeitsschätzung für das gemeinsame Poisson-Normal-Wahrscheinlichkeitsmodell.

whuber
quelle