Vorzeichenwechsel beim Hinzufügen einer weiteren Variablen in der Regression und mit viel größerer Größe

Grundeinstellung:

Regressionsmodell: wobei C der Vektor der Kontrollvariablen ist.$y = \text{constant} +\beta_1x_1+\beta_2x_2+\beta_3x_3+\beta_4x_4+\alpha C+\epsilon$

Ich interessiere mich für und erwarte, dass und negativ sind. Es gibt jedoch ein Multikollinearitätsproblem im Modell. Der Korrelationskoeffizient ist gegeben durch corr ( , 0,9345, corr ( , x_3) = 0,1765, corr ( x_2 , x_3) = 0,3019.β 1 β 2 x 1 x 2 ) $\beta$$\beta_1$$\beta_2$$x_1$$x_2)=$$x_1$$x_3)=$$x_2$$x_3)=$

So $x_1$ und $x_2$ stark korreliert sind , und sie sollten nahezu die gleichen Informationen zur Verfügung stellen. Ich führe drei Regressionen durch:

1. ausschließen $x_1$ variabel; 2. $x_2$ Variable ausschließen; 3. Originalmodell mit $x_1$ und $x_2$ .

Ergebnisse:
Für Regression 1 und 2 wird das erwartete Vorzeichen für $\beta_2$ bzw. $\beta_1$ mit ähnlicher Größe angegeben. Und $\beta_2$ und $\beta_1$ sind in beiden Modellen in 10% signifikant, nachdem ich die HAC-Korrektur bei Standardfehlern durchgeführt habe. $\beta_3$ ist positiv, aber in beiden Modellen nicht signifikant.

Aber für 3 hat $\beta_1$ das erwartete Vorzeichen, aber das Vorzeichen für $\beta_2$ ist positiv, wobei die Größe im absoluten Wert zweimal größer als $\beta_1$ ist. Und sowohl $\beta_1$ als auch $\beta_2$ sind unbedeutend. Darüber $\beta_3$ verringert sich die Größe für \ beta_3 im Vergleich zu Regression 1 und 2 fast um die Hälfte.

Meine Frage ist:

Warum wird in 3 das Vorzeichen von positiv und im absoluten Wert viel größer als ? Gibt es einen statistischen Grund dafür, dass das Vorzeichen umdrehen kann und eine große Größe hat? Oder liegt es daran, dass Modell 1 und 2 unter einem Problem mit ausgelassenen Variablen leiden, das aufgeblasen vorausgesetzt, wirkt sich positiv auf y aus? Aber dann sollten in Regressionsmodell 1 und 2 sowohl als auch positiv statt negativ sein, da der Gesamteffekt von und in Regressionsmodell 3 positiv ist.$\beta_2$$\beta_1$$\beta_2$$\beta_3$$x_2$$\beta_2$$\beta_1$$x_1$$x_2$

Denken Sie an dieses Beispiel:

Sammeln Sie einen Datensatz basierend auf den Münzen in den Taschen der Menschen. Die Variable y / response ist der Gesamtwert der Münzen, die Variable x1 ist die Gesamtzahl der Münzen und x2 ist die Anzahl der Münzen, die keine Viertel sind (oder was auch immer der größte Wert ist) der gängigen Münzen sind für die lokale).

Es ist leicht zu erkennen, dass die Regression mit entweder x1 oder x2 eine positive Steigung ergeben würde, aber wenn beide in das Modell einbezogen würden, würde die Steigung auf x2 negativ werden, da eine Erhöhung der Anzahl kleinerer Münzen ohne Erhöhung der Gesamtzahl der Münzen ein Ersetzen bedeuten würde große Münzen mit kleineren und Verringerung des Gesamtwerts (y).

Dasselbe kann jedes Mal passieren, wenn Sie x Variablen korreliert haben. Die Vorzeichen können leicht entgegengesetzt sein, wenn ein Begriff für sich und in Gegenwart anderer ist.

Sie haben Ihre eigene Frage beantwortet - es gibt Kollinearität.

Ein bisschen Erklärung: und sind sehr kollinear. Wenn Sie jedoch beide in die Regression eingeben, versucht die Regression, die Wirkung der anderen Variablen zu steuern. Mit anderen Worten, halten konstant, was zu tun Änderungen in tun , um . Aber die Tatsache, dass sie so eng miteinander verbunden sind, bedeutet, dass diese Frage albern ist und seltsame Dinge passieren können.$x_1$$x_2$$x_1$$x_2$$y$

Warum wird in 3 das Vorzeichen von β2 positiv und im absoluten Wert viel größer als β1? Gibt es einen statistischen Grund dafür, dass β2 das Vorzeichen umdrehen kann und eine große Größe hat?

Die einfache Antwort ist, dass es keinen tiefen Grund gibt.

Die Art und Weise, darüber nachzudenken, ist, dass, wenn sich Multikollinearie dem Perfekt nähert, die spezifischen Werte, die Sie am Ende aus der Anpassung erhalten, immer mehr von immer kleineren Details der Daten abhängen. Wenn Sie dieselbe Datenmenge aus derselben zugrunde liegenden Verteilung abtasten und dann anpassen würden, könnten Sie völlig unterschiedliche angepasste Werte erhalten.