Warum kümmern wir uns so sehr um normalverteilte Fehlerterme (und Homoskedastizität) in der linearen Regression, wenn wir das nicht müssen?

52

Ich nehme an, dass ich jedes Mal frustriert bin, wenn ich jemanden sagen höre, dass die Nichtnormalität von Residuen und / oder Heteroskedastizität gegen die OLS-Annahmen verstößt. Zur Schätzung von Parametern in einem OLS-Modell ist nach dem Gauß-Markov-Theorem keine dieser Annahmen erforderlich. Ich verstehe, wie wichtig dies beim Testen von Hypothesen für das OLS-Modell ist, da wir unter der Annahme, dass diese Dinge zutreffende Formeln für T-Tests, F-Tests und allgemeinere Wald-Statistiken liefern.

Aber es ist nicht allzu schwer, Hypothesentests ohne sie durchzuführen. Wenn wir nur die Homoskedastizität fallen lassen, können wir leicht robuste Standardfehler und gruppierte Standardfehler berechnen. Wenn wir die Normalität ganz fallen lassen, können wir Bootstrapping verwenden und bei einer anderen parametrischen Spezifikation für die Fehlerausdrücke, das Wahrscheinlichkeitsverhältnis und die Lagrange-Multiplikator-Tests.

Es ist nur eine Schande, dass wir es so lehren, denn ich sehe viele Menschen, die mit Annahmen kämpfen, die sie gar nicht erst treffen müssen.

Warum betonen wir diese Annahmen so stark, wenn wir in der Lage sind, einfach robustere Techniken anzuwenden? Vermisse ich etwas Wichtiges?

Zachary Blumenfeld
quelle
2
Scheint eine disziplinarische Sache zu sein. Meiner Erfahrung nach decken Ökonometrie-Texte im Extremfall fast immer die Schlussfolgerungen ab, die sich aus jeder Annahme ergeben, und Psychologie-Texte scheinen nie etwas über das Thema zu sagen.
Conjugateprior
12
Homoskedastizität ist notwendig, damit OLS BLAU ist.
Momo
4
Ich denke, Sie haben Recht, diese Annahmen finden unangemessene Beachtung. Normalitätsversagen oder bedingte Homoskedastizität. ist nicht so schädlich für die inferentiellen Ziele der meisten Praktiker wie Endogenität und schlecht spezifizierte funktionelle Formen.
CloseToC
2
@ CloseToC Dies ist ein sehr guter Punkt. Oft sind wir so besorgt über die statistischen Details des Regressionsmodells, dass wir das Gesamtbild vergessen ... Ist mein Modell korrekt spezifiziert und exogen? Dies sollte wiederholt als eine der wichtigsten Fragen hervorgehoben werden, die man sich bei der Erstellung eines Modells stellen sollte.
Zachary Blumenfeld

Antworten:

25

In der Ökonometrie würden wir sagen, dass die Nicht-Normalität die Bedingungen des klassischen linearen Regressionsmodells verletzt, während die Heteroskedastizität sowohl die Annahmen des CNLR als auch des klassischen linearen Regressionsmodells verletzt.

Aber diejenigen, die sagen "... verstößt gegen OLS", sind auch berechtigt: Der Name " Ordinary Least Squares" stammt direkt von Gauß und bezieht sich im Wesentlichen auf normale Fehler. Mit anderen Worten, "OLS" ist kein Akronym für die Schätzung der kleinsten Quadrate (was ein viel allgemeineres Prinzip und ein viel allgemeinerer Ansatz ist), sondern des CNLR.

Ok, das war Geschichte, Terminologie und Semantik. Ich verstehe den Kern der Frage des OP wie folgt: "Warum sollten wir das Ideal betonen, wenn wir Lösungen für den Fall gefunden haben, dass es nicht vorhanden ist?" (Da die CNLR Annahmen sind ideal, in dem Sinne , dass sie eine ausgezeichnete Least-Square - Schätzer Eigenschaften „off-the-shelf“, und ohne die Notwendigkeit, asymptotisch Ergebnisse zu greifen. Denken Sie auch daran , dass OLS Maximum - Likelihood ist , wenn die Fehler sind normal ).

Idealerweise ist es ein guter Ort, um mit dem Unterrichten zu beginnen . Das ist es, was wir immer tun, wenn wir irgendein Thema unterrichten: "Einfache" Situationen sind "ideale" Situationen, frei von den Komplexitäten, denen man im wirklichen Leben und in der wirklichen Forschung begegnen wird und für die es keine bestimmten Lösungen gibt .

Und dies ist, was ich am OP-Beitrag problematisch finde: Er schreibt über robuste Standardfehler und Bootstrap, als ob sie "überlegene Alternativen" wären, oder über narrensichere Lösungen für das Fehlen der besagten Annahmen, für die das OP im Übrigen schreibt

"..Annahmen, die Menschen nicht treffen müssen"

Warum? Weil es einige Methoden gibt, mit der Situation umzugehen, Methoden, die natürlich eine gewisse Gültigkeit haben, aber alles andere als ideal sind? Bootstrap und Heteroskedastizität - robuste Standardfehler sind nicht die Lösung - wären sie tatsächlich das vorherrschende Paradigma geworden und hätten die CLR und die CNLR in die Geschichtsbücher aufgenommen. Aber das sind sie nicht.

Wir gehen also von einer Reihe von Annahmen aus, die die von uns als wichtig erachteten Eigenschaften des Schätzers garantieren (es ist eine weitere Diskussion, ob die als wünschenswert bezeichneten Eigenschaften tatsächlich diejenigen sind, die sein sollten), damit wir sichtbar bleiben, dass sie verletzt werden Konsequenzen, die mit den Methoden, die wir gefunden haben, um mit dem Fehlen dieser Annahmen fertig zu werden, nicht vollständig ausgeglichen werden können. Aus wissenschaftlicher Sicht wäre es wirklich gefährlich, das Gefühl zu vermitteln, "wir können uns auf den Weg zur Wahrheit machen" - weil wir es einfach nicht können.

Somit bleiben sie unvollständige Lösungen für ein Problem , keine Alternative und / oder definitiv überlegene Art, Dinge zu tun. Deshalb müssen wir zuerst die problemlose Situation lehren, dann auf die möglichen Probleme hinweisen und dann mögliche Lösungen diskutieren. Andernfalls würden wir diese Lösungen zu einem Status erheben, den sie nicht wirklich haben.

Alecos Papadopoulos
quelle
Hmmm, wenn Sie das gemeint haben, könnten Sie versuchen, "vollständig bewiesen".
gung - Wiedereinsetzung von Monica
@gung Nein, nein, die Methoden sind im mathematischen Sinne "vollständig bewährt", aber nicht narrensicher in Bezug auf das, was sie tatsächlich liefern (dieses "kleine" Detail über Asymptotika und was ihr Wert ist). Ihre Korrektur war die richtige.
Alecos Papadopoulos
22

Wenn wir in der Klasse Zeit hätten, in der wir zuerst Regressionsmodelle einführen, um das Bootstrapping und die anderen von Ihnen erwähnten Techniken (einschließlich all ihrer Annahmen, Fallstricke usw.) zu diskutieren, würde ich Ihnen zustimmen, dass es nicht notwendig ist, über Normalität zu sprechen und Homoskedastizitätsannahmen. Aber in Wahrheit haben wir, wenn die Regression zum ersten Mal eingeführt wird, nicht die Zeit, über all diese anderen Dinge zu sprechen. Wir möchten, dass die Schüler konservativ sind und nach Dingen suchen, die möglicherweise nicht benötigt werden, und einen Statistiker konsultieren (oder andere Statistiken erstellen) Klasse oder 2 oder 3, ...) wenn die Annahmen nicht gelten.

Wenn Sie den Schülern mitteilen, dass diese Annahmen keine Rolle spielen, außer wenn ..., werden sich die meisten nur an den unwichtigen Teil und nicht an den wichtigen Zeitpunkt erinnern.

Wenn wir einen Fall mit ungleichen Varianzen haben, dann können wir zwar immer noch eine Linie der kleinsten Quadrate anpassen, aber ist es immer noch die "beste" Linie? oder wäre es besser, jemanden zu konsultieren, der über mehr Erfahrung / Schulung verfügt, wie in diesem Fall Leitungen zu montieren sind. Sogar wenn wir mit der Linie der kleinsten Quadrate zufrieden sind, sollten wir dann nicht anerkennen, dass Vorhersagen unterschiedliche Eigenschaften für unterschiedliche Werte der Vorhersage (n) haben werden? Die Überprüfung auf ungleiche Abweichungen ist daher gut für spätere Interpretationen, auch wenn wir sie für die Tests / Intervalle / etc. Nicht benötigen. dass wir verwenden.

Greg Snow
quelle
Ich verstehe und schätze, was Sie sagen, insbesondere, dass es eine erhebliche zeitliche Einschränkung gibt. Was ich an meiner Einrichtung sehe, ist, dass Studierende, die mit diesen Annahmen zu kämpfen haben, oft keine oder keine notwendige Beratung erhalten. Am Ende werden Projekte auf der Grundlage passender Modellannahmen ausgewählt oder das klassische Modell unangemessen verwendet, um Annahmen zu verletzen. Ich behaupte, dass durch das Unterrichten robusterer Techniken die Auswahlmöglichkeiten für die Schüler geringer wären und sie somit in die Lage versetzt würden, Projekte zu verfolgen, für die sie eigentlich eine Leidenschaft haben.
Zachary Blumenfeld
13
Sie beginnen beim Unterrichten immer mit einem Idealfall und gehen dann auf alle möglichen Komplikationen ein. Auf Doktoratsebene unterrichten sie alle möglichen seltsamen Dinge, aber es braucht Zeit, um dahin zu gelangen. Ich glaube nicht, dass es ein Bildungsproblem ist, dass die meisten Leute irgendwo in der Nähe des MSc-Niveaus aus dem Zug aussteigen. Tatsächlich würde ich behaupten, dass das größere Problem der Schädlingsbefall durch halbgebackene "Datenwissenschaftler" ist, die nahezu keine Kenntnis der Grundlagen von Statistiken haben, die ausgefallene R-Pakete links und rechts anwenden und keine Ahnung haben, was sie tun und wofür sie kämpfen Machen Sie einen Sinn für die Ausgänge.
Aksakal,
@Aksakal, wo genau sehen Sie diese große Anzahl von übermütigen, unterqualifizierten Analysten? Denn was mir öfter begegnet, ist fast das Gegenteil. Die Menschen haben Angst, die Techniken, die sie gelernt haben, auszuprobieren, es sei denn, sie haben zuvor die Zustimmung eines Experten erhalten. Ich bin mir sicher, dass Sie auf dieser Website die vielen Fragen zu "Darf ich ..." oder "Ist es gültig für ..." gesehen haben, wenn eine erfahrene / konstruktivere Frage lauten würde. Was würde ergeben, wenn ... "
rolando2
18

1) selten wollen die Leute nur schätzen. In der Regel ist Inferenz - CIs, PIs, Tests - das Ziel oder zumindest ein Teil davon (auch wenn dies manchmal relativ informell erfolgt).

2) Dinge wie das Gauß-Markov-Theorem sind nicht unbedingt hilfreich - wenn die Verteilung weit genug vom Normalen entfernt ist, ist ein linearer Schätzer wenig hilfreich. Es hat keinen Sinn, das BLAU zu bekommen, wenn kein linearer Schätzer sehr gut ist.

3) Dinge wie Sandwich-Schätzer beinhalten eine große Anzahl impliziter Parameter. Wenn Sie über viele Daten verfügen, ist dies möglicherweise noch in Ordnung, aber oftmals nicht.

4) Vorhersageintervalle hängen von der Form der bedingten Verteilung ab, einschließlich eines guten Griffs für die Varianz bei der Beobachtung - Sie können die Details nicht so einfach mit einem PI wegwinken.

5) Dinge wie Bootstrapping sind oft nützlich für sehr große Samples. Sie haben manchmal Probleme mit kleinen Stichproben - und selbst bei Stichproben mittlerer Größe stellen wir häufig fest, dass die tatsächlichen Abdeckungseigenschaften nichts mit der Werbung zu tun haben.

Das heißt, wenige Dinge sind das Allheilmittel, das die Menschen gerne hätten. All diese Dinge haben ihren Platz, und es gibt sicherlich viele Fälle, in denen (sagen wir) Normalität nicht erforderlich ist und Schätzungen und Schlussfolgerungen (Tests und CIs) vernünftigerweise durchgeführt werden können, ohne dass dies notwendigerweise Normalität, konstante Varianz usw. erfordert.

Eine Sache, die oft vergessen zu sein scheint, sind andere parametrische Annahmen, die stattdessen getroffen werden könnten. Oft wissen die Leute genug über eine Situation Bescheid, um eine annehmbare parametrische Annahme zu treffen (z. B. sagen wir ..., dass die bedingte Reaktion dazu neigt, recht schief zu sein, wenn SD ziemlich proportional zum Mittelwert ist, könnte uns veranlassen, ein Gamma- oder lognormales Modell zu betrachten); Oft kann dies sowohl die Heteroskedastizität als auch die Nicht-Normalität auf einmal betreffen.

Ein sehr nützliches Werkzeug ist die Simulation. Damit können wir die Eigenschaften unserer Werkzeuge in Situationen untersuchen, in denen es so aussieht, als ob unsere Daten entstanden sind, und sie entweder in dem beruhigenden Wissen verwenden, dass sie in diesen Fällen gute Eigenschaften haben ( oder stellen Sie manchmal fest, dass sie nicht so gut funktionieren, wie wir es uns erhoffen).

Glen_b
quelle
"Selten wollen die Leute nur schätzen" - in den Bereichen Unternehmensfinanzierung und Wirtschaft schätzen die Leute viel, um die Auswirkungen einer bestimmten Variablen herauszufiltern. Ich habe eine Menge Artikel gelesen, in denen die Autoren nicht einmal die Vertrauensbereiche betrachten. Sie bemerken die Bedeutung natürlich unter den normalen Voraussetzungen.
Aksakal
6
@Aksakal na ja, aber wenn sie Standardfehler oder t-Werte oder p-Werte usw. beachten, dann wollen sie nach meiner Einschätzung nicht nur schätzen. Unabhängig davon, ob sie Intervalle formal testen / konstruieren oder nicht, um diese anderen Dinge - wie informell sie auch sein mögen - sinnvoll zu betrachten, müssten sie überhaupt eine Bedeutung haben.
Glen_b