Verteilung des Kehrwerts des Regressionskoeffizienten

Angenommen, wir haben ein lineares Modell , das alle Standardannahmen für die Regression (Gauss-Markov) erfüllt. Wir interessieren uns für . $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ $\theta = 1/\beta_1$

Frage 1: Welche Annahmen sind notwendig, damit die Verteilung von genau definiert ist? wäre wichtig --- irgendwelche anderen? $\hat{\theta}$ $\beta_1 \neq 0$

Frage 2: Fügen Sie die Annahme hinzu, dass die Fehler einer Normalverteilung folgen. Wir wissen, dass, wenn die MLE ist und eine monotone Funktion ist, die MLE für . Ist Monotonie nur in der Nähe von notwendig ? Mit anderen Worten, ist die MLE? Der Satz der kontinuierlichen Abbildung sagt uns zumindest, dass dieser Parameter konsistent ist. $\hat{\beta}_1$ $g(\cdot)$ $g\left(\hat{\beta}_1\right)$ $g(\beta_1)$ $\beta_1$ $\hat{\theta} = 1/\hat{\beta}$

Frage 3: Sind sowohl die Delta-Methode als auch der Bootstrap geeignete Mittel, um die Verteilung von ? $\hat{\theta}$

Frage 4: Wie ändern sich diese Antworten für den Parameter ? $\gamma = \beta_0 / \beta_1$

Nebenbei: Wir könnten erwägen, das Problem neu zu ordnen, um , um die Parameter direkt zu schätzen. Dies scheint mir nicht zu funktionieren, da die Gauß-Markov-Annahmen hier keinen Sinn mehr ergeben. Wir können zum Beispiel nicht über sprechen . Ist diese Interpretation richtig?

\begin{aligned} x_{i} & = \frac{β_{0}}{β_{1}} + \frac{1}{β_{1}} y_{i} + \frac{1}{β_{1}} ϵ_{i} \\ = γ + θ y_{i} + \frac{1}{β_{1}} ϵ_{i} \end{aligned}

$\begin{align*} x_i &= \frac{\beta_0}{\beta_1} + \frac{1}{\beta_1} y_i + \frac{1}{\beta_1} \epsilon_i \\ &= \gamma + \theta y_i + \frac{1}{\beta_1} \epsilon_i \end{align*}$

E [ϵ ∣ y]

$\text{E}[\epsilon \mid y]$

regression distributions maximum-likelihood bootstrap Charlie
quelle

Enthalten die "Standard" -Annahmen die Normalität des oder nicht?

ϵ_{i}

$\epsilon_i$

whuber

Guter Punkt; Ich habe diese Annahme dem Teil über die MLE hinzugefügt. Für die anderen sollte es jedoch nicht notwendig sein.

Charlie

Die Stichprobenverteilung von ist normal, daher ist die von der Kehrwert einer Normalen. Dies ist bimodal mit einem divergierenden (unendlichen) Mittelwert, unabhängig vom Mittelwert von , und ist bei 0 unendlich flach. Die Delta-Methode ist daher schrecklich, die üblichen asymptotischen MLE-Näherungen sind schlecht und sogar der Bootstrap kann verdächtig sein.

β_{1}

$\beta_1$

θ

$\theta$

β_{1}

$\beta_1$

whuber

@whuber, Könntest du das erweitern? Meine Intuition sieht nicht, wie der Kehrwert eines Normalen bimodal sein sollte; Ich würde vermuten, dass die gesamte Masse auf dem Kehrwert des Mittelwerts des Normalen liegt (hier ). Ich war besorgt über die unendliche mittlere Möglichkeit aufgrund der Masse nahe 0. Der Bootstrap und die asymptotischen Ergebnisse erfordern die Existenz der zu schätzenden Momente, daher hängt diese Frage letztendlich davon ab.

1 / {\hat{β}}_{1}

$1/\hat{\beta}_1$

Charlie

Das PDF einer reziproken Normalen ist . Bei 0 sind alle Ableitungen gleich 0; Das Finden kritischer Punkte seines Logarithmus identifiziert einen positiven und einen negativen Modus (leicht berechnet in Form von und ); das Integral vondivergiert wie das Integral von. Das Problem mit unendlichen ersten Momenten hängt mit dem Kehrwert jeder Zufallsvariablen mit einer positiven Wahrscheinlichkeitsdichte bei 0 zusammen, die alle Normalen enthält.

\exp (- (1 / x - μ)^{2} / (2 σ^{2})) / (\sqrt{2 π} x^{2} σ) d x

$\exp(-(1/x-\mu)^2/(2\sigma^2))/(\sqrt{2\pi}x^2\sigma)dx$

σ

$\sigma$

μ / σ

$\mu/\sigma$

| x |

$|x|$

| x | / x^{2} = 1 / | x |

$|x|/x^2=1/|x|$

whuber

Q1. Wenn die MLE von , dann ist die MLE von und ist eine ausreichende Bedingung, damit dieser Schätzer genau definiert werden kann. $\hat\beta_1$ $\beta_1$ $\hat\theta$ $\theta$ $\beta_1 \neq 0$

Q2. ist die MLE von nach Invarianzeigenschaft der MLE. Außerdem benötigen Sie keine Monotonie von wenn Sie dessen Inverse nicht erhalten müssen. Es ist nur erforderlich, dass an jedem Punkt genau definiert ist. Sie können dies in Satz 7.2.1, S. 350 von "Probability and Statistical Inference" von Nitis Mukhopadhyay überprüfen. $\hat\theta = 1/\hat\beta$ $\theta$ $g$ $g$

Q3. Ja, Sie können beide Methoden verwenden. Ich würde auch die Profilwahrscheinlichkeit von überprüfen . $\theta$

Q4. Hier können Sie das Modell anhand der interessierenden Parameter parametrisieren . Beispielsweise lautet die MLE von und Sie können die Profilwahrscheinlichkeit dieses Parameters oder seine Bootstrap-Verteilung wie gewohnt berechnen. $(\theta,\gamma)$ $\gamma$ $\hat\gamma=\hat\beta_0/\hat\beta_1$

Der Ansatz, den Sie am Ende erwähnen, ist falsch. Sie erwägen tatsächlich ein "Kalibrierungsmodell", das Sie in der Literatur überprüfen können. Das einzige, was Sie brauchen, ist eine Neuparametrisierung in Bezug auf die interessierenden Parameter.

Ich hoffe das hilft.

Mit freundlichen Grüßen.

XMX
quelle

Danke für die Antwort. Ich habe nicht das Buch, das Sie zitieren, aber oft erfordern diese Eigenschaften die Existenz der Momente, die geschätzt werden. Ich bin mir nicht sicher, ob der Kehrwert eines Normalen die erforderlichen Momente hat. Ich hätte diesen Punkt in meiner Frage klarer machen sollen.

Charlie

Verteilung des Kehrwerts des Regressionskoeffizienten

Antworten: