Die Annahmen der kleinsten Quadrate

Nehmen Sie die folgende lineare Beziehung an: , wobei die abhängige Variable ist, eine einzelne unabhängige Variable und der Fehlerterm. $Y_i = \beta_0 + \beta_1 X_i + u_i$ $Y_i$ $X_i$ $u_i$

Nach Stock & Watson (Einführung in die Ökonometrie; Kapitel 4 ) ist die Annahme der Quadrate, dass die vierten Momente von und ungleich Null und endlich sind . $X_i$ $u_i$ $(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$

Ich habe drei Fragen:

Ich verstehe die Rolle dieser Annahme nicht vollständig. Ist OLS voreingenommen und inkonsistent, wenn diese Annahme nicht zutrifft, oder brauchen wir diese Annahme für die Schlussfolgerung?
Stock und Watson schreiben: "Diese Annahme begrenzt die Wahrscheinlichkeit, eine Beobachtung mit extrem großen Werten von oder zeichnen ." Meine Intuition ist jedoch, dass diese Annahme extrem ist. Sind wir in Schwierigkeiten, wenn wir große Ausreißer haben (so dass die vierten Momente groß sind), aber wenn diese Werte immer noch endlich sind? Übrigens: Was ist die zugrunde liegende Definition eines Ausreißers? $X_i$ $u_i$
Können wir dies wie folgt umformulieren: "Die Kurtosis von und ist ungleich Null und endlich?" $X_i$ $u_i$

regression least-squares assumptions bias consistency Junggeselle
quelle

Leider kann ich jetzt keine vollständige Antwort schreiben, aber um Ihre Frage zu beantworten: 1, die OLS-Konsistenz funktioniert unabhängig davon. 2 gibt es keine klare Definition von Ausreißern, aber OLS funktioniert in großen Stichproben bei Vorhandensein von Ausreißern einwandfrei. 3, für das Leben von mir kann ich mir kein Beispiel

vorstellen,

Ich bestreite, "aber OLS funktioniert in großen Stichproben bei Vorhandensein von Ausreißern einwandfrei" ... nehmen Sie einen ausreichend großen Ausreißer im x-Raum (dh eine einflussreiche Beobachtung), und ein einzelner Punkt kann die LS-Anpassung dazu zwingen, ihn zu durchlaufen; Wenn es sich auch um einen Ausreißer in Y-Richtung handelt, verläuft Ihre Linie immer noch durch diesen einen Punkt, egal wie extrem sie ist.

Glen_b -Reinstate Monica

Ausreißer sind einfach zu definieren. Es handelt sich um Beobachtungen, die nicht mit dem Muster des Großteils der Daten übereinstimmen. Wie das Beispiel von Glen_b zeigt, hat ein solcher Punkt einen unangemessenen Einfluss auf die Anpassung, wobei die Grenze alle anderen Beobachtungen im Datensatz überwiegt, was zu stark verzerrten Schätzungen führt.

user603

@ user603 Sicher ... und so weiter ... Ich habe noch kein Programm / Skript gefunden, das Ausreißer automatisch erkennt und dies auf klare Weise tut, damit wir uns alle einig sind, dass dies der richtige Weg ist ... also, während ich Ihrer Meinung zustimme, es hilft nicht OP

Repmat

@Repmat: Bitte lesen Sie die Frage des OP erneut. Mein Kommentar beantwortet direkt einen der darin enthaltenen Sätze, der durch ein Fragezeichen unterbrochen ist.

user603

Antworten:

Sie benötigen keine Annahmen zu den 4. Momenten für die Konsistenz des OLS-Schätzers, aber Sie benötigen Annahmen zu höheren Momenten von und für die asymptotische Normalität und um die asymptotische Kovarianzmatrix konsistent abzuschätzen. $x$ $\epsilon$

In gewissem Sinne ist dies jedoch ein mathematischer, technischer Punkt, kein praktischer Punkt. Damit OLS in gewisser Weise in endlichen Proben gut funktioniert, sind mehr als die minimalen Annahmen erforderlich, die erforderlich sind, um eine asymptotische Konsistenz oder Normalität als . $n \rightarrow \infty$

Ausreichende Bedingungen für die Konsistenz:

Wenn Sie eine Regressionsgleichung haben:

y_{i} = x_{i}^{'} β + ϵ_{i}

$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$

Der OLS-Schätzer kann wie geschrieben werden: $\hat{\mathbf{b}}$

\hat{b} = β + {(\frac{{X.}^{'} X.}{n})}^{- - 1} (\frac{{X.}^{'} ϵ}{n})

$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$

Aus Gründen der Konsistenz müssen Sie in der Lage sein, das Kolmogorovsche Gesetz der großen Zahlen oder im Fall von Zeitreihen mit serieller Abhängigkeit so etwas wie den Ergodischen Satz von Karlin und Taylor anzuwenden, damit:

\frac{1}{n} {X.}^{'} X. \overset{p}{\to} E. [x_{ich} x_{ich}^{'}]] \frac{1}{n} {X.}^{'} ϵ \overset{p}{\to} E. [x_{ich}^{'} ϵ_{ich}]]

$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$

Weitere erforderliche Annahmen sind:

$\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ hat den vollen Rang und daher ist die Matrix invertierbar.
Regressoren sind vorbestimmt oder streng exogen, so dass . $\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

Dann und Sie erhalten $\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$ $\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Wenn Sie der zentrale Grenzwertsatz anwenden möchten , dann müssen Sie Annahmen über höhere Momente, zum Beispiel , wo . Der zentrale Grenzwertsatz gibt Ihnen die asymptotische Normalität von und ermöglicht es Ihnen, über Standardfehler zu sprechen. Damit der zweite Moment existiert, müssen die vierten Momente von und existieren. Sie möchten argumentieren, dass wo $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $\mathbf{g_i} = \mathbf{x}_i \epsilon_i$ $\hat{\mathbf{b}}$ $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $x$ $\epsilon$ $\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$ $\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . Damit dies funktioniert, muss endlich sein. $\Sigma$

Eine nette Diskussion (die diesen Beitrag motiviert hat) findet sich in Hayashis Ökonometrie . (Siehe auch S. 149 für den 4. Moment und die Schätzung der Kovarianzmatrix.)

Diskussion:

Diese Anforderungen an den 4. Moment sind wahrscheinlich eher ein technischer als ein praktischer Punkt. Sie werden wahrscheinlich nicht auf pathologische Verteilungen stoßen, bei denen dies ein Problem in alltäglichen Daten ist? Es ist für allgemeinere oder andere Annahmen von OLS, schief zu gehen.

Eine andere Frage, die zweifellos an anderer Stelle auf Stackexchange beantwortet wird, ist, wie groß eine Stichprobe ist, die Sie für endliche Stichproben benötigen, um den asymptotischen Ergebnissen nahe zu kommen. In gewisser Weise führen fantastische Ausreißer zu einer langsamen Konvergenz. Versuchen Sie beispielsweise, den Mittelwert einer logarithmischen Normalverteilung mit sehr hoher Varianz zu schätzen. Der Stichprobenmittelwert ist ein konsistenter, unvoreingenommener Schätzer des Populationsmittelwerts, aber in diesem logarithmischen Normalfall mit verrückter überschüssiger Kurtosis usw. (folgen Sie dem Link) sind die Ergebnisse der endlichen Stichproben wirklich ziemlich falsch.

Endlich gegen unendlich ist eine äußerst wichtige Unterscheidung in der Mathematik. Das ist nicht das Problem, auf das Sie in der täglichen Statistik stoßen. Praktische Probleme liegen eher in der Kategorie klein gegen groß. Ist die Varianz, Kurtosis usw. klein genug, um angesichts meiner Stichprobengröße vernünftige Schätzungen zu erzielen?

Pathologisches Beispiel, bei dem der OLS-Schätzer konsistent, aber nicht asymptotisch normal ist

Erwägen:

y_{ich} = b x_{ich} + ϵ_{ich}

$y_i = b x_i + \epsilon_i$ Wobei aber aus einer t-Verteilung mit 2 Freiheitsgraden gezogen wird, also . Die OLS-Schätzung konvergiert in der Wahrscheinlichkeit gegen aber die Stichprobenverteilung für die OLS-Schätzung ist nicht normal verteilt. Unten ist die empirische Verteilung für basierend auf 10000 Simulationen einer Regression mit 10000 Beobachtungen.

x_{i} \sim N (0, 1)

$x_i \sim \mathcal{N}(0,1)$

ϵ_{i}

$\epsilon_i$

V a r (ϵ_{i}) = \infty

$\mathrm{Var}(\epsilon_i) = \infty$

b

$b$

\hat{b}

$\hat{b}$

\hat{b}

$\hat{b}$

QQPlot für Schätzer (konvergiert nicht in der Verteilung zur Normalität)

Die Verteilung von ist nicht normal, die Schwänze sind zu schwer. Wenn Sie jedoch die Freiheitsgrade auf 3 erhöhen, sodass der zweite Moment von existiert, gilt die zentrale Grenze und Sie erhalten: $\hat{b}$ $\epsilon_i$

Code zum Generieren:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

Matthew Gunn
quelle

Gute Antwort. Das Folgende hängt jedoch wirklich vom Kontext ab: Sie werden nicht auf pathologische Verteilungen mit nicht existierenden vierten Momenten in alltäglichen Daten stoßen. Finanzdaten (logarithmische Renditen für finanzielle Vermögenswerte) sind in der Regel so umfangreich, dass sie keinen endlichen vierten Moment haben. Die Sorge um den 4. Moment ist dort also sehr real. (Sie könnten dies wahrscheinlich als Gegenbeispiel in Klammern zu Ihrer Behauptung hinzufügen.) Auch eine Frage: Warum ergibt in Ihrem Beispiel eine asymptotische Normalität, obwohl es keinen endlichen 4. Moment gibt?

t (3)

$t(3)$

Richard Hardy

@RichardHardy Sie möchten wobei . Sie benötigen diesen vierten Moment zu existieren, und ist im Grunde ein zweiter Moment in wenn mit .

\sqrt{n} (\frac{1}{n} \sum_{i} x_{i} ϵ_{i}) \overset{d}{\to} N (0, Σ)

$\sqrt{n}\left( \frac{1}{n} \sum_i \mathbf{x}_i \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( \mathbf{0}, \Sigma \right)$

Σ = E [x_{i} x_{i}^{'} ϵ_{i}^{2}]

$\Sigma = \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2]$

Σ

$\Sigma$

Σ

$\Sigma$

ϵ_{i}

$\epsilon_i$

ϵ_{i}^{2}

$\epsilon_i^2$

x_{i} x_{i}^{'}

$\mathbf{x}_i\mathbf{x}_i'$

Matthew Gunn

Dies ist eine ausreichende, aber keine minimale Annahme [1]. OLS ist unter diesen Bedingungen nicht voreingenommen, sondern nur inkonsistent. Die asymptotischen Eigenschaften von OLS brechen zusammen, wenn einen extrem großen Einfluss haben kann und / oder wenn Sie extrem große Residuen erhalten können. Sie haben vielleicht keine formale Darstellung des zentralen Grenzwertsatzes von Lindeberg Feller gefunden, aber das ist es, worauf sie hier mit den Bedingungen des vierten Moments eingehen, und die Lindeberg-Bedingung sagt uns im Grunde dasselbe: keine übergroßen Einflusspunkte, keine übergroße hohe Hebelwirkung Punkte [2]. $X$
Diese theoretischen Grundlagen der Statistik sorgen für große Verwirrung, wenn sie für praktische Anwendungen zusammengefasst werden. Es gibt keine Definition eines Ausreißers, es ist ein intuitives Konzept. Um es grob zu verstehen, müsste die Beobachtung ein Punkt mit hohem Hebel oder hohem Einfluss sein, z. B. einer, für den die Deletionsdiagnose (DF beta) sehr groß ist oder für den der Mahalanobis-Abstand in den Prädiktoren groß ist (in univariaten Statistiken) das ist nur eine Z-Punktzahl). Aber kehren wir zu praktischen Fragen zurück: Wenn ich eine zufällige Umfrage unter Menschen und ihrem Haushaltseinkommen durchführe und von 100 Personen eine der von mir befragten Personen Millionäre ist, gehe ich davon aus, dass Millionäre für 1% der Bevölkerung repräsentativ sind . In einer Vorlesung über Biostatisten werden diese Prinzipien diskutiert und betont, dass jedes diagnostische Instrument im Wesentlichen explorativ ist [3].nicht "die Analyse, die den Ausreißer ausschließt, ist die, von der ich glaube", sondern "das Entfernen eines Punktes hat meine Analyse vollständig verändert".
Kurtosis ist eine skalierte Größe, die vom zweiten Moment einer Verteilung abhängt, aber die Annahme einer endlichen Varianz ungleich Null für diese Werte ist stillschweigend, da es unmöglich ist, dass diese Eigenschaft im vierten Moment, aber nicht im zweiten Moment gilt. Also im Grunde ja, aber insgesamt habe ich weder Kurtosis noch vierte Momente untersucht. Ich finde sie nicht als praktische oder intuitive Maßnahme. An diesem Tag, an dem ein Histogramm oder ein Streudiagramm mit einem Fingerschnipp erstellt wird, müssen wir qualitative grafische Diagnosestatistiken verwenden, indem wir diese Diagramme untersuchen.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html

AdamO
quelle

Wie bereits darauf hingewiesen , vor denen die Intuition über Ausreißer bricht , wenn es mehr als eine von ihnen. Sie werden in einem DF-Beta-Plot nicht unbedingt auffallen oder große Z-Scores aufweisen, da diese Statistiken selbst von Ausreißern beeinflusst werden können. Wie bereits erwähnt, erzeugen Ausreißer , wenn sie nicht aktiviert sind, verzerrte Koeffizienten, sofern Sie sie nicht entfernen oder eine für sie robuste Schätztechnik verwenden.

user603

Ich denke allgemeiner, wenn Sie Meinungen äußern, würden Ihre Antworten durch die Aufnahme von Verweisen auf die relevante Literatur gewinnen, so dass das OP weiß, welche dieser Meinungen weit verbreitet sind.

user603

@ user603 Auf Ihren ersten Kommentar habe ich DFbetas (oder ein Diagnosetool) nicht als exklusive Methode zur Identifizierung von Ausreißern hingewiesen , aber sicherlich als nützliche. Wenn Sie eine semiparametrische Inferenz durchführen (mittleres Modell korrekt), verzerren Ausreißer die LS-Modelle NICHT. Können Sie eine Referenz oder sogar ein Beispiel in einem anderen Fall als nicht-parametrischem LS erstellen? Ihr zweiter Kommentar ist gut, und ich werde mir die nächsten Momente Zeit nehmen, um Zitate zu liefern.

AdamO

Ihre Aussage "OLS ist unter diesen Bedingungen nicht voreingenommen, es ist nur inkonsistent" ist nicht korrekt. Die höheren Momente werden für die asymptotische Normalität benötigt. Sie werden nicht für die Konsistenz in IID-Proben benötigt, in denen das Kolmogorov-Gesetz der großen Zahlen gilt.

Matthew Gunn