Was ist der Unterschied zwischen der linearen Regression auf y mit x und x mit y?

Der Pearson-Korrelationskoeffizient von x und y ist der gleiche, unabhängig davon, ob Sie Pearson (x, y) oder Pearson (y, x) berechnen. Dies legt nahe, dass eine lineare Regression von y bei x oder x bei y gleich sein sollte, aber ich denke nicht, dass dies der Fall ist.

Kann jemand Aufschluss darüber geben, wann die Beziehung nicht symmetrisch ist und inwiefern sich dies auf den Pearson-Korrelationskoeffizienten bezieht (den ich immer als Zusammenfassung der Best-Fit-Linie betrachte)?

Der beste Weg, um darüber nachzudenken, besteht darin, sich ein Streudiagramm von Punkten vorzustellen, bei dem auf der vertikalen Achse und x auf der horizontalen Achse liegen. In diesem Rahmen sehen Sie eine Punktewolke, die vage kreisförmig oder zu einer Ellipse verlängert sein kann. Was Sie versuchen, in der Regression zu tun, ist, das zu finden, was man als die "Linie der besten Anpassung" bezeichnen könnte. Obwohl dies einfach zu sein scheint, müssen wir herausfinden, was wir mit "am besten" meinen, und das bedeutet, dass wir definieren müssen, was es wäre, wenn eine Linie gut oder eine Linie besser als eine andere usw. wäre Wir müssen eine Verlustfunktion festlegen$y$$x$. Eine Verlustfunktion gibt uns die Möglichkeit zu sagen, wie "schlecht" etwas ist, und wenn wir dies minimieren, machen wir unsere Linie so gut wie möglich oder finden die "beste" Linie.

Wenn wir eine Regressionsanalyse durchführen, finden wir traditionell Schätzungen der Steigung und des Abschnitts, um die Summe der quadratischen Fehler zu minimieren . Diese sind wie folgt definiert:

$$SSE=\sum_{i=1}^N(y_i-(\hat\beta_0+\hat\beta_1x_i))^2$$

In Bezug auf unser Streudiagramm bedeutet dies, dass wir die (Summe der quadratischen) vertikalen Abstände zwischen den beobachteten Datenpunkten und der Linie minimieren .

Andererseits ist es durchaus sinnvoll, auf y zu regressieren , aber in diesem Fall würden wir x auf die vertikale Achse setzen und so weiter. Wenn wir unser Diagramm unverändert lassen (mit x auf der horizontalen Achse), würde eine Regression von x auf y (ebenfalls unter Verwendung einer leicht angepassten Version der obigen Gleichung mit x und y vertauscht) bedeuten, dass wir die Summe der horizontalen Abstände minimieren würden$x$$y$$x$$x$$x$$y$$x$$y$zwischen den beobachteten Datenpunkten und der Linie. Das hört sich sehr ähnlich an, ist aber nicht ganz dasselbe. (Um dies zu erkennen, müssen Sie es in beide Richtungen tun und dann einen Satz von Parameterschätzungen algebraisch in die Terme des anderen umwandeln. Beim Vergleich des ersten Modells mit der neu angeordneten Version des zweiten Modells wird es leicht erkennbar, dass dies der Fall ist nicht das gleiche.)

Beachten Sie, dass auf keine Weise dieselbe Linie erzeugt wird, die wir intuitiv zeichnen würden, wenn uns jemand ein Millimeterpapier mit darauf eingezeichneten Punkten übergibt. In diesem Fall ziehen wir eine Linie direkt durch die Mitte, aber wenn Sie den vertikalen Abstand minimieren, erhalten Sie eine Linie, die etwas flacher ist (dh mit einer flacheren Neigung), während Sie durch Minimieren des horizontalen Abstandes eine Linie erhalten, die etwas steiler ist .

Eine Korrelation ist symmetrisch; ist so korreliert mit y wie y mit x . Die Pearson-Produkt-Moment-Korrelation kann jedoch in einem Regressionskontext verstanden werden. Der Korrelationskoeffizient r ist die Steigung der Regressionsgeraden, wenn beide Variablen zuerst standardisiert wurden . Das heißt, Sie haben zuerst den Mittelwert von jeder Beobachtung abgezogen und dann die Differenzen durch die Standardabweichung dividiert. Die Datenpunktwolke wird nun auf den Ursprung zentriert, und die Steigung ist gleich, unabhängig davon, ob Sie y auf x oder x auf $x$$y$$y$$x$$r$$y$$x$$x$$y$ (Beachten Sie jedoch den Kommentar von @DilipSarwate weiter unten).

Warum ist das wichtig? Unter Verwendung unserer traditionellen Verlustfunktion sagen wir, dass sich der gesamte Fehler nur in einer der Variablen befindet (nämlich ). Das heißt, wir sagen, dass x fehlerfrei gemessen wird und die Menge von Werten darstellt, die uns wichtig sind, aber dass y einen Stichprobenfehler hat$y$$x$$y$. Das ist ganz anders als das Umgekehrte zu sagen. Dies war in einer interessanten historischen Episode von Bedeutung: In den späten 70er und frühen 80er Jahren wurde in den USA der Fall angeführt, dass Frauen am Arbeitsplatz diskriminiert wurden, und dies wurde durch Regressionsanalysen untermauert, aus denen hervorgeht, dass Frauen mit gleichem Hintergrund (z , Qualifikationen, Erfahrung usw.) wurden im Durchschnitt weniger bezahlt als Männer. Kritiker (oder einfach nur besonders gründliche Personen) argumentierten, dass Frauen, die gleichermaßen mit Männern bezahlt würden, in diesem Fall höher qualifiziert sein müssten. Als dies jedoch überprüft wurde, stellte sich heraus, dass die Ergebnisse zwar "signifikant" waren Auf die eine Weise beurteilt, waren sie nicht "signifikant", wenn sie auf die andere Weise überprüft wurden, was alle Beteiligten in einen Stich ließ. Sehen Sie hier für eine berühmte Zeitung, die versuchte, das Problem zu klären.

---

(Sehr viel später aktualisiert) Hier ist eine andere Möglichkeit, um darüber nachzudenken, die sich dem Thema über die Formeln nähert, anstatt visuell:

Die Formel für die Steigung einer einfachen Regressionsgeraden ergibt sich aus der übernommenen Verlustfunktion. Wenn Sie die Standardfunktion für den Verlust der kleinsten Quadrate (siehe oben) verwenden, können Sie die Formel für die Steigung ableiten, die Sie in jedem Intro-Lehrbuch sehen. Diese Formel kann in verschiedenen Formen dargestellt werden; eine davon nenne ich die "intuitive" Formel für die Steigung. Betrachten Sie diese Form sowohl für die Situation , in der Sie regredieren auf x , und wo Sie regredieren x auf y : y  auf  x ⏞ & bgr; 1 = Cov ( x , y $y$$x$$x$$y$ Nun, ich hoffeesoffensichtlich, dass diese nicht die gleiche sein würdees sei dennVar(x)gleichVar(y). Wenn die Varianzensindgleich (zB weil Sie die Variablen standardisiert zuerst), dann sind auch die Standardabweichungen und damit die Abweichungen würden beide auch gleichSD(x)SD(y). In diesem Fallβ1würde Pearson gleichr, die durch die gleichen oder so istdas Prinzip der commutativity:

$$\overbrace{\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}}^{y\text{ on } x}~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{\hat\beta_1=\frac{\text{Cov}(y,x)}{\text{Var}(y)}}^{x\text{ on }y}$$ $\text{Var}(x)$$\text{Var}(y)$$\text{SD}(x)\text{SD}(y)$$\hat\beta_1$$r$ $$\overbrace{r=\frac{\text{Cov}(x,y)}{\text{SD}(x)\text{SD}(y)}}^{\text{correlating }x\text{ with }y}~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{r=\frac{\text{Cov}(y,x)}{\text{SD}(y)\text{SD}(x)}}^{\text{correlating }y\text{ with }x}$$

Ich werde die Antwort mit etwas RCode und Ausgabe veranschaulichen .

Zunächst konstruieren wir eine zufällige Normalverteilung ymit einem Mittelwert von 5 und einer SD von 1:

y <- rnorm(1000, mean=5, sd=1)

Als nächstes erstelle ich absichtlich eine zweite zufällige Normalverteilung x, die einfach das 5-fache des Wertes yfür jede ist y:

x <- y*5

Von Natur aus haben wir eine perfekte Korrelation von xund y:

cor(x,y)
[1] 1
cor(y,x)
[1] 1

Wenn wir jedoch eine Regression durchführen, suchen wir nach einer Funktion, die sich darauf bezieht, xund ydaher hängen die Ergebnisse der Regressionskoeffizienten davon ab, welche wir als abhängige Variable und welche als unabhängige Variable verwenden. In diesem Fall passen wir keinen Achsenabschnitt an, weil wir xeine Funktion yohne zufällige Variation erstellt haben:

lm(y~x-1)
Call:
lm(formula = y ~ x - 1)

Coefficients:
  x  
0.2

lm(x ~ y-1)
Call:
lm(formula = x ~ y - 1)

Coefficients:
y  
5  

Die Regressionen sagen uns das y=0.2xund das x=5y, was natürlich gleichwertig ist. Der Korrelationskoeffizient zeigt uns einfach, dass es eine exakte Übereinstimmung in den Einheitenänderungsniveaus zwischen xund gibt y, so dass (zum Beispiel) eine Erhöhung um 1 Einheit yimmer eine Erhöhung um 0,2 Einheiten bewirkt x.

Die Einsicht, dass wir dieselbe lineare Regression erhalten sollten, da Pearsons Korrelation gleich ist, ob wir eine Regression von x gegen y oder von y gegen x durchführen. Es ist nur geringfügig falsch und wir können es verwenden, um zu verstehen, was tatsächlich geschieht.

Dies ist die Gleichung für eine Linie, die wir aus unserer Regression gewinnen wollen

Die Gleichung für die Steigung dieser Linie wird durch Pearsons Korrelation bestimmt

Dies ist die Gleichung für Pearsons Korrelation. Es ist dasselbe, ob wir x gegen y oder y gegen x regressieren

Wenn wir jedoch auf unsere zweite Gleichung für die Steigung zurückblicken, sehen wir, dass die Pearson-Korrelation nicht der einzige Ausdruck in dieser Gleichung ist. Wenn wir y gegen x berechnen, haben wir auch die Stichprobenstandardabweichung von y geteilt durch die Stichprobenstandardabweichung von x. Wenn wir die Regression von x gegen y berechnen würden, müssten wir diese beiden Terme invertieren.

Bei Fragen wie diesen ist es einfach, sich mit den technischen Fragen zu beschäftigen. Daher möchte ich mich speziell auf die Frage im Titel des Threads konzentrieren, in der gefragt wird: Was ist der Unterschied zwischen der linearen Regression für y mit x und x mit y? ?

Betrachten Sie für einen Moment ein (vereinfachtes) ökonometrisches Modell aus der Humankapitaltheorie (der Link führt zu einem Artikel von Nobelpreisträger Gary Becker). Angenommen, wir geben ein Modell der folgenden Form an:

$$\begin{equation} \text{wages} = b_{0} + b_{1}~\text{years of education} + \text{error} \end{equation}$$

Wenn wir nun die ökonometrische Gleichung umkehren (d. H. Y von x in x von y ändern), wird das Modell zu einem

$$\begin{equation} \text{years of education} = b_{0} + b_{1}~\text{wages} + \text{error} \end{equation}$$

Ich bin sicher, Sie können sich weitere Beispiele wie dieses vorstellen (auch außerhalb der Wirtschaft), aber wie Sie sehen, kann sich die Interpretation des Modells erheblich ändern, wenn wir von y auf x auf y umstellen.

Also, um die Frage zu beantworten: Was ist der Unterschied zwischen der linearen Regression auf y mit x und x mit y? können wir sagen, dass sich die Interpretation der Regressionsgleichung ändert, wenn wir x auf y anstelle von y auf x zurückführen. Wir sollten diesen Punkt nicht übersehen, da ein Modell, das eine solide Interpretation hat, schnell zu einem Modell werden kann, das wenig oder keinen Sinn ergibt.

Zu diesem Thema gibt es ein sehr interessantes Phänomen. Nach dem Austausch von x und y ändert sich zwar der Regressionskoeffizient, aber die t-Statistik / F-Statistik und das Signifikanzniveau für den Koeffizienten ändern sich nicht. Dies gilt auch für multiple Regressionen, bei denen wir y mit einer der unabhängigen Variablen austauschen.

Dies ist auf eine heikle Beziehung zwischen der F-Statistik und dem (Teil-) Korrelationskoeffizienten zurückzuführen. Diese Beziehung berührt wirklich den Kern der linearen Modelltheorie. Mehr Details zu dieser Schlussfolgerung finden Sie in meinem Notizbuch: Warum der Austausch von y und x keine Auswirkung auf p hat

Erweitere die ausgezeichnete Antwort von @ gung:

$r$$y$$x$$x$$y$

$$\sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = \sqrt{\frac{\text{Cov}(x,y)}{\text{Var}(x)} \cdot \frac{\text{Cov}(y,x)}{\text{Var}(y)}} = \frac{|\text{Cov}(x,y)|}{\text{SD}(x) \cdot \text{SD}(y)} = |r|$$ $r$
$$r = sign({\hat{\beta}_1}_{y\,on\,x}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$ $$r = sign({\hat{\beta}_1}_{x\,on\,y}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$

$r$

$$|\frac{1}{2} \cdot ({\hat{\beta}_1}_{y\,on\,x} + {\hat{\beta}_1}_{x\,on\,y})| \geq \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = |r|$$

$\textbf{ Doing regression of $y$ given $x$}$

$$\min_b \mathbb E(Y - bX)^2$$

$\textbf{doing regression of $x$ given $y$}$

$$\min_b \mathbb E(X - bY)^2$$

$$\min_b \frac{1}{b^2} \mathbb E(Y - bX)^2$$

Es ist auch wichtig zu beachten, dass zwei unterschiedlich aussehende Probleme die gleiche Lösung haben können.

Nun, es ist wahr, dass für eine einfache bivariate Regression der lineare Korrelationskoeffizient und das R-Quadrat für beide Gleichungen gleich sind. Die Steigungen sind jedoch r Sy / Sx oder r Sx / Sy, die nicht gegenseitig sind, es sei denn, r = 1.

Die Grundidee der Regression kann "Ursache und Wirkung" oder "unabhängig und abhängig" sein. Die normale Praxis, unabhängige Variablen auf der X-Achse und abhängige Variablen auf der Y-Achse zu platzieren, wird durch Y = mX + c dargestellt. Ob die Steigung als m (X auf Y) oder (Y auf X) und die Regression als: (X auf Y) oder (Y auf X) bezeichnet werden soll. Es wird auf beide Arten gehandhabt, was nicht gut ist und geklärt werden muss. Modellierer verwenden häufig Streudiagramme, um zu beurteilen, ob simulierte Reihen mit beobachteten Reihen übereinstimmen. und die Verwendung von Regressionsgeraden ist unvermeidlich. Hier gibt es keinen Verursachungssatz. Unter Berücksichtigung dieser Notwendigkeit steht die stumme Frage, die der Faden stellt. Oder einfach ausgedrückt, erläutern Sie bitte, wie die normale Regressionsanalyse aufzurufen ist: X auf Y; oder Y auf X ?, geht über die verursachende Antwort hinaus. Es ist keine Antwort auf den Hauptthema; aber eine parallele Frage.