Was bedeutet "alle anderen gleich" bei multipler Regression?

Du hast recht. Technisch gesehen ist es jeder Wert . Wenn ich dies unterrichte, sage ich den Leuten normalerweise, dass Sie die Wirkung einer Änderung von einer Einheit in $X_j$ wenn alle anderen Variablen auf ihren jeweiligen Mitteln gehalten werden. Ich glaube, dies ist eine übliche, für mich nicht spezifische Erklärungsweise.

Normalerweise erwähne ich weiter, dass , wenn Sie keine Wechselwirkungen haben, der Effekt einer Änderung um eine Einheit in , unabhängig von den Werten Ihrer anderen Variablen. Ich beginne aber gerne mit der Mittelwertformulierung. Der Grund ist, dass es zwei Effekte gibt, wenn mehrere Variablen in ein Regressionsmodell einbezogen werden. Zuerst erhalten Sie den Effekt von das für die anderen Variablen steuert (sehen Sie meine Antwort hier ). Das zweite ist, dass das Vorhandensein der anderen Variablen (normalerweise) die Restvarianz des Modells reduziert und Ihre Variablen (einschließlich $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'bedeutendere'. Es ist schwer für die Leute zu verstehen, wie dies funktioniert, wenn die anderen Variablen Werte haben, die überall vorkommen. Das scheint die Variabilität irgendwie zu erhöhen . Wenn Sie daran denken, jeden Datenpunkt für den Wert der anderen Variablen nach oben oder unten anzupassen, bis alle übrigen Variablen auf ihre jeweiligen Mittelwerte verschoben wurden, ist es einfacher zu erkennen, dass die Restvariabilität verringert wurde. $X$

Ich komme erst nach ein oder zwei Klassen zu Interaktionen, nachdem ich die Grundlagen der multiplen Regression eingeführt habe. Wenn ich jedoch zu ihnen komme, kehre ich zu diesem Material zurück. Das oben Gesagte gilt, wenn keine Wechselwirkungen vorliegen. Wenn es Wechselwirkungen gibt, ist es komplizierter. In diesem Fall wird die interagierende Variable (s) (sehr spezifisch) auf und auf keinem anderen Wert konstant gehalten . $0$

Wenn Sie sehen möchten, wie dies algebraisch abläuft, ist es ziemlich einfach. Wir können mit dem Fall ohne Interaktion beginnen. Lassen Sie uns die Änderung der Bestimmung , wenn alle anderen Variablen konstant bleiben an ihren jeweiligen Mittel sind. Ohne Beschränkung der Allgemeinheit, sagen wir mal , dass es drei - Variablen und wir verstehen interessiert , wie die Änderung in mit einer Einheitsänderung in zugeordnet ist , , hält und konstant an ihren jeweiligen Mitteln: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Nun ist es offensichtlich, dass wir in den ersten beiden Gleichungen jeden Wert für und eingeben könnten , solange wir in beiden den gleichen Wert für ( ) eingeben. Das heißt, solange wir und konstant halten . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

Auf der anderen Seite funktioniert es nicht so, wenn Sie eine Interaktion haben. Hier zeige ich den Fall, in dem es einen -Interaktionsbegriff gibt: $X_1X_3$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 i} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

In diesem Fall ist es nicht möglich, alles andere konstant zu halten. Da der Interaktionsterm eine Funktion von und , ist es nicht möglich, zu ändern, ohne dass sich auch der Interaktionsterm ändert. Somit die Änderung in gleich mit einer Einheitsänderung in zugeordnete nur dann , wenn die Wechselwirkungsvariable ( ) gehalten wird , bei anstelle von (oder einem anderen Wert , aber ), in welchem Fall der letzte Term in der unteren Gleichung entfällt. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

In dieser Diskussion habe ich mich auf Interaktionen konzentriert, aber im Allgemeinen ist das Problem, wenn es eine Variable gibt, die eine Funktion einer anderen ist, so dass es nicht möglich ist, den Wert der ersten zu ändern, ohne den jeweiligen Wert der anderen Variablen zu ändern . In solchen Fällen ist die Bedeutung des wird komplizierter. Zum Beispiel, wenn Sie ein Modell mit hatten und , dann ist die Ableitung $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ hält alle anderen gleich und(siehe meine Antworthier). Andere, noch kompliziertere Formulierungen sind ebenfalls möglich. $\frac{dY}{dX_j}$ $X_j=0$

gung - Wiedereinsetzung von Monica
quelle

Danke Gung, diese Antwort ist auf ein paar Ebenen großartig. Erstens beantwortet es den wichtigsten Punkt, an dem ich interessiert war. Zweitens haben Sie vorhergesagt, was meine Folgefrage sein würde, weil ich fragen wollte, wie sich dies mit der Einführung von Interaktionsbegriffen ändern würde. Danke auch für die Mathe. Ich weiß, dass diese Frage grundlegend ist, aber ich bin der Meinung, dass Sie mit diesen Konzepten niemals zu deutlich werden können.

EconStats

Gern geschehen, @EconStats. Das Einbeziehen der Mathematik ist kein Problem, manchmal ist es viel einfacher zu verstehen, was vor sich geht.

gung - Reinstate Monica

Nun, ich muss sagen, dass, als Sie die erste Gleichung von der zweiten Gleichung subtrahierten, meine ursprünglichen Überlegungen endgültig bestätigt wurden, dass es egal ist, wie die Werte von

und

sind, solange sie in beiden Gleichungen gleich sind. Es scheint mir so offensichtlich zu sein, aber ich hatte noch nie darüber nachgedacht, das

so zu berechnen . Bestimmtes Glühbirnenmoment für mich.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

EconStats

Sie können auch die Ableitung von

nach

nehmen, um zum selben Ort zu gelangen. Dies ist jedoch einfacher zu verstehen (im Wesentlichen Algebra der Highschool), sodass es einem breiteren Publikum zugänglich ist.

Y

$Y$

X_{j}

$X_j$

gung - Wiedereinsetzung von Monica

@beetroot, wenn ich Sie richtig verstehe, halten Sie es einfach auf einem bestimmten Niveau. (Andernfalls könnten Sie dies als neue Frage stellen.)

gung - Reinstate Monica

Ich glaube, Sie sprechen von Abhängigkeit in Kovariaten ( ). Wenn das Modell also die Auswirkung von auf , wenn alle anderen Dinge gleich sind, $X_i$

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

für jedes

wobei alle anderen

auf einem beliebigen Wert konstant gehalten werden.

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

$X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

$X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

c o v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + a)] - E (X_{1}) . E (X_{1}^{2} - a) w i t h a \sim N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . a) - 0. E (X_{1}^{2} - a) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

$X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

$\frac{\Delta{Y}}{\Delta{X_i}}$

Hans Roggeman
quelle

Danke Hans, ich habe eigentlich versucht, an den Punkt zu kommen, an dem Gung gemacht wurde, aber dies ist ein gutes Beispiel dafür, wenn die beiden Variablen abhängig sind.

EconStats

Was bedeutet "alle anderen gleich" bei multipler Regression?

Antworten: