Lineare Regression mit Schussrauschen

8

Ich suche nach der richtigen statistischen Terminologie, um das folgende Problem zu beschreiben.

Ich möchte ein elektronisches Gerät charakterisieren, das eine lineare Antwort hat

Y=β0+β1X+ϵ

Dabei ist ein Begriff aufgrund des Ausleserauschens des Geräts. Um zu bestimmen würde ich eine Reihe von Antworten und die Standard-Toolbox für lineare Regression anwenden. Aber ich weiß nicht genau, was die sind, weil ich eine Quelle verwende, die von Schussgeräuschen betroffen ist. Das ist , ich weiß , dass , wenn ich den Regler an der Quelle auf einen bestimmten Wert dann (eine Gauß'sche mit durchschnittlich und Varianz ).β 0 , β 1 , σ 2 r o { X i , Y i } X i J i X iN ( μ , μ ) μ μϵN(0,σro2)β0,β1,σro2{Xi,Yi}XiJiXiN(μ,μ)μμ

Dies sieht aus wie ein Modell für Fehler in Variablen der linearen Regression ( http://en.wikipedia.org/wiki/Errors-in-variables_models ), bei dem es nicht darum geht, mein Gerät über seinen gesamten Eingabebereich zu charakterisieren Während der Messungen muss ich den Wert von ändern , und jetzt ist die Varianz von nicht festgelegt, sondern hängt von (bis J_i) ab, obwohl dies aufgrund des Schussrauschens bei nicht bedeutet, dass die Die Varianz von ist dieselbe wie die Varianz von .X i X i X i = X j X i X jJiXiXiXi=XjXiXj

Wie heißt dieses Modell und gibt es Artikel, in denen ich herausfinden kann, dass ein solches Problem angegangen wird? Oder formuliere ich falsch?

GVstats
quelle
Var (Xi) = μ = E (Xi)> 0. Wenn dies behoben wäre, wäre dies ein Fehler im Variablenmodell mit dem σ / μ. Es liegt nicht daran, dass sich μ mit dem Xi ändert. Ich habe Modelle mit nicht konstanter Varianz in Y und Modelle mit Fehlern in Variablen gesehen, aber nicht diese Art von Modell, das Fehler in Variablen mit nicht konstanter Varianz aufweist. Wenn die Varianz in Y manchmal nicht konstant ist, ist es möglich, die Varianz als Funktion des Wertes der Kovariate x zu modellieren. Vielleicht könnte so etwas für den Fehler in X getan werden.r o2 ro
Michael R. Chernick

Antworten:

3

Das Wahrscheinlichkeitsmodell für ein solches Schussrauschen ist

XPoisson(μ),Y|XNormal(β0+β1X,σ2).

Eine gute Schätzung von ist der Mittelwert von und eine gute Schätzung von wird durch gewöhnliche kleinste Quadrate geliefert, da die Werte von als unabhängig, identisch verteilt und normal angenommen werden.X ( β 0 , β 1 ) Y.μX(β0,β1)Y

Die von OLS gegebene Schätzung von ist hier jedoch aufgrund der Zufälligkeit von unangemessen . Die maximale Wahrscheinlichkeitsschätzung ist X.σ2X

s2=Sxy22SxSySxy+Sxx(Sy2Syy)+Sx2SyySx2Sxx.

In dieser Notation ist der mittlere Wert, ist der Mittelwert der Produkte der und Werte usw. X S x y X Y.SxXSxyXY

Wir können erwarten, dass sich die Standardschätzungsfehler in den beiden Ansätzen (OLS, was nicht ganz richtig ist, und MLE, wie hier beschrieben) unterscheiden . Es gibt verschiedene Möglichkeiten, um ML-Standardfehler zu erhalten: Konsultieren Sie eine Referenz. Da die Log-Wahrscheinlichkeit relativ einfach ist (insbesondere wenn die Poisson- Verteilung durch eine Normalverteilung für große angenähert wird ), können diese Standardfehler auf Wunsch in geschlossener Form berechnet werden.( μ , μ ) μ(μ)(μ,μ)μ


Als Beispiel habe ich Werte aus einer Poisson -Verteilung generiert :x ( 100 )12 X(100)

94,99,106,87,91,101,90,102,93,110,97,123

ich dann , und , habe ich entsprechende Werte generiert :β 1 = 1 / 2 σ = 1 12 Yβ0=3β1=1/2σ=112Y

47.4662,53.5622,54.6656,45.3592,49.0347,53.8803,48.3437,54.2255,48.4506,58.6761,50.7423,63.9922

Der mittlere Wert , die Schätzung von . Die OLS-Ergebnisse (die mit dem MLE der Koeffizienten identisch sind) schätzen als und als . Es ist keine Überraschung, dass die Schätzung des Abschnitts von seinem wahren Wert von abweicht , da diese Werte weit vom Ursprung entfernt bleiben. Die Schätzung der Steigung liegt nahe am wahren Wert von .99,4167 μ β 0 1,24 β 1 0,514271 β 0 3 X β 1 0,5X99.4167μβ01.24β10.514271β03Xβ10.5

Die OLS-Schätzung von ist jedoch , weniger als der wahre Wert von . Die MLE von arbeitet , um aus . (Es ist ein Unfall, dass beide Schätzungen niedrig sind und der MLE größer als die OLS-Schätzung ist.) 0,715 1σ20.7151 0,999351σ20.999351

Zahl

Die Linie ist sowohl die OLS-Anpassung als auch die maximale Wahrscheinlichkeitsschätzung für das gemeinsame Poisson-Normal-Wahrscheinlichkeitsmodell.

whuber
quelle