Ist OLS unter Heteroskedastizität asymptotisch effizient?

Ich weiß, dass OLS unvoreingenommen, aber unter Heteroskedastizität in einer linearen Regressionsumgebung nicht effizient ist.

In Wikipedia

http://en.wikipedia.org/wiki/Minimum_mean_square_error

Der MMSE-Schätzer ist asymptotisch unvoreingenommen und konvergiert in der Verteilung zur Normalverteilung: , wobei I (x) die Fisher-Information von x ist. Somit ist der MMSE-Schätzer asymptotisch effizient. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE soll asymptotisch effizient sein. Ich bin hier etwas verwirrt.

Bedeutet dies, dass OLS in endlichen Stichproben nicht effizient ist, aber unter Heteroskedastizität asymptotisch effizient?

Kritik der aktuellen Antworten: Bisher befassen sich die vorgeschlagenen Antworten nicht mit der begrenzenden Verteilung.

Danke im Voraus

least-squares heteroscedasticity efficiency Cagdas Ozgenc
quelle

Das ist ein ziemlich langer Wikipedia-Artikel. Da sich diese außerdem ändern können, würde es Ihnen etwas ausmachen, die Passage zu zitieren, die Verwirrung stiftet?

Hejseb

Die Fisher-Informationen werden aus der Wahrscheinlichkeitsfunktion abgeleitet. Dies impliziert implizit, dass die Wahrscheinlichkeit korrekt angegeben wurde. dh Die Aussage, auf die Sie sich beziehen, geht davon aus, dass bei einer Heteroskedastizität die Regression so gewichtet wurde, dass die Heteroskedastizität korrekt angegeben wurde. Siehe en.wikipedia.org/wiki/Least_squares#Weighted_least_squares . In der Praxis kennen wir die Form der Heteroskedastizität oft nicht, daher akzeptieren wir manchmal die Ineffizienz, anstatt die Chance zu nutzen, die Regression zu beeinflussen, indem wir keine Gewichtungsschemata angeben.

Zachary Blumenfeld

@ZacharyBlumenfeld Es gab keine Annahme zur Verteilung von x im Artikel. Wie sind wir zu den Fisher-Informationen gekommen?

Cagdas Ozgenc

Siehe en.wikipedia.org/wiki/Fisher_information Der Artikel impliziert eine Verteilung auf und wenn im Definitionsabschnitt Erwartungen berücksichtigt werden. Beachten Sie, dass dort nie von Homoskedastizität ausgegangen wurde. Im Kontext von OLS nahm die Homoskedaktizität , die Identitätsmatrix an. Die Heteroskedaktizität ermöglicht , jede Diagonale Positives Semi-Definit. Mit würde in einer anderen Fisher - Informationen als würde mit .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

Zachary Blumenfeld

Wo kann ich einen Beweis dafür sehen, dass "MMSE in der Verteilung zur Normalverteilung konvergiert"?

Hajir

Antworten:

Der Artikel nahm in der Definition niemals Homoskadastizität an. Um es in den Kontext des Artikels zu stellen, würde Homoskedastizität sagen, wobei die Identitätsmatrix ist und ist skalare positive Zahl. Heteroskadastizität ermöglicht

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Jedes Diaganol positiv positiv. Der Artikel definiert die Kovarianzmatrix so allgemein wie möglich als das zentrierte zweite Moment einer impliziten Multi-Variate-Verteilung. Wir müssen die multivariate Verteilung von , um eine asymptotisch effiziente und konsistente Schätzung von . Dies wird von einer Wahrscheinlichkeitsfunktion herrühren (die ein obligatorischer Bestandteil des Seitenzahns ist). wir zum Beispiel (dh . Dann ist die implizite Wahrscheinlichkeitsfunktion Wobei das multivariate normale PDF ist. $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

\log [L] = \log [ϕ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

Die Fischerinformationsmatrix kann geschrieben werden als Sie unter en.wikipedia.org/wiki/Fisher_information. Von hier aus können wir ableiten. Das Obige verwendet eine quadratische Verlustfunktion, geht jedoch nicht davon aus Homoskedastizität.

I (x) = E [(\frac{\partial}{\partial x} \log [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

\sqrt{n} (\hat{x} - x) \to^{d} N (0, I^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

Im Kontext von OLS, wo wir auf zurückführen, nehmen wir Die implizierte Wahrscheinlichkeit ist Dies kann bequem als das univariate normale PDF umgeschrieben werden . Die Fischerinformation ist dann $y$ $x$

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$

\log [L] = \log [ϕ (y - x^{'} β, σ I)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

\log [L] = \sum_{i = 1}^{n} \log [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

I (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Wenn die Homoskedastizität nicht erfüllt ist, werden die angegebenen Fisher-Informationen falsch angegeben (aber die bedingte Erwartungsfunktion ist immer noch korrekt), sodass die Schätzungen von konsistent, aber ineffizient sind. Wir könnten die Wahrscheinlichkeit, Heteroskaktizität zu berücksichtigen, umschreiben und die Regression ist effizient, dh wir können schreiben. Dies entspricht bestimmten Formen von verallgemeinerten kleinsten Quadraten , wie z. B. gewichtete kleinste Quadrate. Dies wird jedoch $\beta$

\log [L] = \log [ϕ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ Ändern Sie die Fisher-Informationsmatrix. In der Praxis kennen wir die Form der Heteroskedastizität oft nicht, daher ziehen wir es manchmal vor, die Ineffizienz zu akzeptieren, anstatt die Regression zufällig zu beeinflussen, indem wir keine Gewichtungsschemata angeben. In solchen Fällen ist die asymptotische Kovarianz ist nicht , wie oben spezifiziert.

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

Zachary Blumenfeld
quelle

Vielen Dank für die Zeit, die Sie verbracht haben. Ich denke jedoch, dass der Wiki-Eintrag totaler Mist ist. MMSE liefert keine Effizienz, und nirgends wird angegeben, dass die Proben angemessen gewichtet werden. Selbst wenn wir davon ausgehen, dass die Stichproben gewichtet sind, ist dies kein effizienter Schätzer, es sei denn, die Verteilung ist Gauß, was ebenfalls nicht spezifiziert ist.

Cagdas Ozgenc

@CagdasOzgenc Ich bin respektvoll anderer Meinung. Der Artikel ist allgemein Bayesianisch formuliert, was Regression, aber auch viele andere Modelle beinhalten kann (er scheint eher auf Kalman-Filter ausgerichtet zu sein). Die Wahrscheinlichkeit ist der effizienteste Schätzer, wenn bekannt ist, dass dies eine grundlegende Eigenschaft der Wahrscheinlichkeit ist. Was Sie sagen, gilt ausschließlich für eine Teilmenge von Regressionsmodellen (wenn auch unter den am weitesten verbreiteten Modellen), bei denen Normalität bei der Ableitung von Bedingungen erster Ordnung angenommen wird.

Zachary Blumenfeld

Du hast es selbst gesagt. Leider handelt der Artikel nicht vom Likelihood Estimator. Es ist der Minimum Mean Square Estimator, der effizient ist, wenn bestimmte Bedingungen erfüllt sind.

Cagdas Ozgenc

Okay, ich bin damit einverstanden, nicht zuzustimmen :) Vielleicht gibt es einen Konflikt mit der Definition von MMSE zwischen der Verwendung in der häufigsten Regression und der Anwendung hier in einer eher bayesianischen Umgebung. Vielleicht sollten sie einen neuen Namen dafür erfinden. Nichtsdestotrotz werden Wahrscheinlichkeiten (oder möglicherweise andere nicht parametrische Schätzungen) impliziert, wenn unabhängige Erwartungen über jeden einzelnen quadratischen Rest genommen werden. besonders in einer Bayes'schen Umgebung (wie würden wir es sonst schätzen?). Nach dem Googeln habe ich viele ähnliche Ergebnisse wie bei Wikipedia gefunden. Jedenfalls stimme ich zu, dass Terminologie missbraucht wird.

Zachary Blumenfeld

Nein, OLS ist unter Heteroskedastizität nicht effizient. Die Effizienz eines Schätzers wird erhalten, wenn der Schätzer die geringste Varianz unter anderen möglichen Schätzern aufweist. Aussagen zur Effizienz in OLS werden unabhängig von der Grenzverteilung eines Schätzers gemacht.

zufälliger Typ
quelle