Regressionskoeffizienten, die das Vorzeichen umkehren, nachdem andere Prädiktoren einbezogen wurden

31

Vorstellen

  • Sie führen eine lineare Regression mit vier numerischen Prädiktoren aus (IV1, ..., IV4).
  • Wenn nur IV1 als Prädiktor enthalten ist, lautet die standardisierte Beta +.20
  • Wenn Sie auch IV2 bis IV4 einschließen, wird das Vorzeichen des standardisierten Regressionskoeffizienten von IV1 umgekehrt -.25(dh es wird negativ).

Dies wirft einige Fragen auf:

  • Nennen Sie dies terminologisch einen "Suppressor-Effekt"?
  • Welche Strategien würden Sie anwenden, um diesen Effekt zu erklären und zu verstehen?
  • Haben Sie Beispiele für solche Effekte in der Praxis und wie haben Sie diese erklärt und verstanden?
regression predictor Jeromy Anglim
quelle
Wie würden Sie eine Situation erklären, in der Koeffizienten ihre Vorzeichen ändern, wenn Prädiktoren einbezogen werden, aber definitiv keine Multikollinearität vorliegt (wie niedrige VIF-Werte nahe legen würden)? Interessanterweise änderte sich das Vorzeichen unter Einbeziehung von Prädiktoren zu dem, was ich ursprünglich erwartet hatte (positiv). Es war in einer einfachen, unabhängigen Variablen-Regression negativ (die Korrelationsmatrix zeigte eine minimale negative Korrelation mit der abhängigen Variablen), wurde jedoch mit anderen eingeschlossenen Prädiktoren sofort positiv.
@ John, können Sie Ihren Kommentar löschen und Ihre Frage als separate Frage auf dieser Site veröffentlichen (z. B. mit "Frage nach oben stellen"). Wenn Sie der Meinung sind, dass Ihre Frage mit dieser Frage zusammenhängt, fügen Sie einen Link zu dieser Frage in Ihre neue Frage
Jeromy Anglim
2
Eine Arbeit, die ich mit Seth Dutter geschrieben habe, könnte helfen, die Dinge zu klären. Es wird hauptsächlich aus einer geometrischen Perspektive geschrieben. Hier ist der Link: arxiv.org/abs/1503.02722 . -Brian Knaeble, B. & Dutter, S. (2015). Umkehrung von Kleinste-Quadrate-Schätzungen und modellunabhängige Schätzung für Richtungen eindeutiger Effekte. arXiv-Vorabdruck arXiv: 1503.02722.

Antworten:

26

Multikollinearität ist der übliche Verdächtige, wie JoFrhwld erwähnte. Wenn Ihre Variablen positiv korreliert sind, werden die Koeffizienten grundsätzlich negativ korreliert, was zu einem falschen Vorzeichen bei einem der Koeffizienten führen kann.

Eine Überprüfung wäre, eine Hauptkomponenten- oder Kammregression durchzuführen. Dies reduziert die Dimensionalität des Regressionsraums und behandelt die Multikollinearität. Sie erhalten voreingenommene Schätzungen, aber möglicherweise niedrigere MSE und korrigierte Vorzeichen. Unabhängig davon, ob Sie mit diesen bestimmten Ergebnissen zufrieden sind oder nicht, ist dies eine gute diagnostische Überprüfung. Wenn Sie immer noch Vorzeichenwechsel erhalten, kann es theoretisch interessant sein.

AKTUALISIEREN

Nach dem Kommentar in John Christies Antwort könnte dies interessant sein. Assoziationsumkehr (Größe oder Richtung) sind Beispiele für Simpsons Paradoxon, Lords Paradoxon und Unterdrückungseffekte. Die Unterschiede beziehen sich im Wesentlichen auf die Art der Variablen. Es ist sinnvoller, das zugrunde liegende Phänomen zu verstehen, als an ein bestimmtes "Paradoxon" oder einen bestimmten Effekt zu denken. Für eine kausale Perspektive ist das folgende Papier eine gute Erklärung, und ich werde ausführlich ihre Einführung und Schlussfolgerung zitieren, um Ihren Appetit anzuregen.

Tu et al. Präsentieren eine Analyse der Äquivalenz von drei Paradoxen und kommen zu dem Schluss, dass alle drei einfach die nicht überraschende Änderung der Assoziation von zwei Variablen wiederholen, wenn eine dritte Variable statistisch kontrolliert wird. Ich nenne das nicht überraschend, weil Umkehrung oder Änderung der Größe in der bedingten Analyse üblich sind. Um dies zu vermeiden, müssen wir die bedingte Analyse vollständig vermeiden. Was ist mit den Paradoxen von Simpson und Lord oder dem Unterdrückungseffekt, der über das Offensichtliche hinaus die zeitweiligen und manchmal alarmierenden Interessen in der Literatur anzieht?

[...]

Zusammenfassend lässt sich nicht genug betonen, dass Simpsons und verwandte Paradoxe zwar die Gefahren der Verwendung statistischer Kriterien für die Kausalanalyse aufzeigen, aber weder die Erklärungen für das Phänomen enthalten, das sie darstellen sollen, noch die Hinweise, wie sie vermieden werden können. Die Erklärungen und Lösungen liegen in kausalen Überlegungen, die auf Hintergrundwissen und nicht auf statistischen Kriterien beruhen. Es ist höchste Zeit, die Behandlung fehlinterpretierter Anzeichen und Symptome („Paradoxien“) einzustellen und mit dem Umgang mit der Krankheit („Kausalität“) fortzufahren. Wir sollten unsere Aufmerksamkeit zu Recht auf das Problem der Kovariatenauswahl für die Kausalanalyse mit nichtexperimentellen Daten lenken.

ars
quelle
1
Vielen Dank für den Vorschlag, die Grat- oder PCA-Regression zu untersuchen. Nur ein Randpunkt zu Ihrem Kommentar: "Wenn Ihre Variablen positiv korreliert sind, werden die Koeffizienten negativ korreliert, was zur Vorzeichenumkehr führt.": Positiv korrelierte Prädiktoren führen normalerweise nicht zur Vorzeichenumkehr.
Jeromy Anglim
Entschuldigung, das ist eine verpatzte einzeilige Erklärung, die in Eile geschrieben wurde. Jetzt behoben, danke.
Ars
Großer Punkt über die Bedeutung von Kausalmechanismen.
Jeromy Anglim
14

Ich glaube, dass solche Effekte häufig durch Kollinearität verursacht werden (siehe diese Frage ). Ich denke, das Buch über Mehrebenenmodellierung von Gelman und Hill spricht darüber. Das Problem ist , dass IV1mit einer oder mehreren der anderen Prädiktoren korreliert, und wenn sie alle in dem Modell enthalten sind, deren Schätzung wird unberechenbar.

Wenn das Umkehren des Koeffizienten auf Kollinearität zurückzuführen ist, ist es nicht wirklich interessant zu berichten, da dies nicht auf die Beziehung zwischen Ihren Prädiktoren zum Ergebnis zurückzuführen ist, sondern auf die Beziehung zwischen Prädiktoren.

Was ich gesehen habe, um dieses Problem zu lösen, ist die Residualisierung. Zuerst passen Sie ein Modell für an IV2 ~ IV1und nehmen dann die Residuen dieses Modells als rIV2. Wenn alle Variablen korreliert sind, sollten Sie sie wirklich alle restrukturieren. Sie können tun, um dies zu tun

rIV2 <- resid(IV2 ~ IV1)
rIV3 <- resid(IV3 ~ IV1 + rIV2)
rIV4 <- resid(IV4 ~ IV1 + rIV2 + rIV3)

Nun passen Sie das endgültige Modell mit an

DV ~ IV1 + rIV2 + rIV3 + rIV4

Der Koeffizient für rIV2stellt nun den unabhängigen Effekt dar IV2, dessen Korrelation mit gegeben ist IV1. Ich habe gehört, dass Sie nicht das gleiche Ergebnis erzielen, wenn Sie in einer anderen Reihenfolge residenzieren, und dass die Auswahl der Residenzierungsreihenfolge in Ihrer Forschung wirklich ein entscheidender Faktor ist.

JoFrhwld
quelle
Danke für die Antwort. Ich hatte diese Gedanken. (a) Multikollinearität: Ich stimme zu. Ohne dies sollten sich die Koeffizienten nicht ändern. (b) Ist es interessant? Ich denke tatsächlich, dass das Umdrehen des Zeichens in einigen Fällen interessante theoretische Interpretationen haben kann; aber vielleicht nicht aus einer reinen Vorhersageperspektive. (c) Residualisierung: Ich würde gerne hören, was andere über diesen Ansatz denken.
Jeromy Anglim
Ich bin nicht sicher, ob Multikollinearität interessant sein könnte. Angenommen, Sie hatten ein Ergebnis O, und Ihre Prädiktoren sind Incomeund Father's Income. Die Tatsache, die Incomedamit korreliert Father's Incomeist, ist von Natur aus interessant, aber diese Tatsache wäre wahr, egal von welchem ​​Wert O. Das heißt, Sie könnten feststellen, dass Odie Prädiktoren alle kollinear sind, ohne jemals Ihre Ergebnisdaten zu erfassen oder sogar zu wissen, was das Ergebnis ist! Diese Fakten sollten nicht besonders interessant werden, wenn Sie erst einmal wissen, dass dies Owirklich der Fall ist Education.
JoFrhwld
Ich schlage vor, dass der Suppressoreffekt theoretisch interessant sein kann, wovon vermutlich die Multikollinearität einen Ausgangspunkt für eine Erklärung liefert.
Jeromy Anglim
5

Siehe Simpsons Paradoxon . Kurz gesagt, der beobachtete Haupteffekt kann sich umkehren, wenn einem Modell eine Interaktion hinzugefügt wird. Auf der verlinkten Seite sind die meisten Beispiele kategorisch, aber es gibt eine Abbildung oben auf der Seite, die man sich ununterbrochen vorstellen kann. Wenn Sie beispielsweise einen kategorialen und kontinuierlichen Prädiktor haben, kann der kontinuierliche Prädiktor das Vorzeichen leicht umdrehen, wenn der kategoriale hinzugefügt wird und innerhalb jeder Kategorie das Vorzeichen anders ist als für die Gesamtpunktzahl.

John
quelle
Guter Punkt. Alle Beispiele von Simpsons Paradox gelten für kategoriale Variablen. Ist das Konzept einer Unterdrückungsvariablen das numerische Äquivalent?
Jeromy Anglim