Wie kann das Hinzufügen einer 2. IV die 1. IV signifikant machen?

64

Ich habe wahrscheinlich eine einfache Frage, aber sie verblüfft mich gerade. Ich hoffe, dass Sie mir helfen können.

Ich habe ein Regressionsmodell der kleinsten Quadrate mit einer unabhängigen und einer abhängigen Variablen. Die Beziehung ist nicht signifikant. Jetzt füge ich eine zweite unabhängige Variable hinzu. Nun wird die Beziehung zwischen der ersten unabhängigen Variablen und der abhängigen Variablen signifikant.

Wie funktioniert das? Dies zeigt wahrscheinlich ein Problem mit meinem Verständnis, aber für mich, aber ich sehe nicht, wie das Hinzufügen dieser zweiten unabhängigen Variablen die erste signifikant machen kann.

EvKohl
quelle
4
Dies ist ein sehr viel diskutiertes Thema auf dieser Site. Dies liegt wahrscheinlich an der Kollinearität. Wenn Sie nach "Kollinearität" suchen, werden Sie Dutzende relevanter Themen finden. Ich schlage vor, einige der Antworten auf stats.stackexchange.com/questions/14500/…
Makro
3
Mögliche Duplikate signifikanter Prädiktoren werden bei der multiplen logistischen Regression nicht signifikant . Es gibt viele Threads, bei denen es sich tatsächlich um ein Duplikat handelt - das war der nächste, den ich in weniger als zwei Minuten finden konnte
Makro
3
Dies ist eine Art umgekehrtes Problem wie das im gerade gefundenen Thread @macro, aber die Gründe dafür sind sehr ähnlich.
Peter Flom - Reinstate Monica
3
@Macro, ich denke du hast recht, dass dies ein Duplikat sein kann, aber ich denke, dass das Problem hier etwas anders ist als die 2 Fragen oben. Das OP bezieht sich nicht auf die Bedeutung des Modells als Ganzes oder auf Variablen, die mit zusätzlichen IVs nicht signifikant werden. Ich vermute, es geht nicht um Multikollinearität, sondern um Macht oder möglicherweise Unterdrückung.
gung - Reinstate Monica
3
@gung, eine Unterdrückung in einem linearen Modell tritt nur auf, wenn Kollinearität vorliegt - der Unterschied liegt in der Interpretation. "Hier geht es also nicht um Multikollinearität, sondern möglicherweise um Unterdrückung" führt zu einer irreführenden Dichotomie
Makro

Antworten:

78

Obwohl die Kollinearität (von Prädiktorvariablen) eine mögliche Erklärung ist, möchte ich vorschlagen, dass sie keine aufschlussreiche Erklärung ist, da wir wissen, dass die Kollinearität mit "allgemeinen Informationen" unter den Prädiktoren zusammenhängt, sodass an der Seite nichts Geheimnisvolles oder Gegenteiliges vorliegt Effekt der Einführung eines zweiten korrelierten Prädiktors in das Modell.

Betrachten wir dann den Fall zweier Prädiktoren, die wirklich orthogonal sind : Es gibt absolut keine Kollinearität zwischen ihnen. Eine bemerkenswerte Veränderung der Bedeutung kann immer noch passieren.

Bestimmen Sie die Prädiktorvariablen und X 2 und lassen Sie Y den Prädiktanden benennen. Die Regression von Y gegen X 1 wird nicht signifikant sein, wenn die Variation von Y um seinen Mittelwert nicht merklich verringert wird, wenn X 1 als unabhängige Variable verwendet wird. Wenn die Variation stark mit einer zweiten Variablen zugeordnet ist , X 2 , jedoch ändert sich die Situation. Denken Sie daran, dass die multiple Regression von Y gegen X 1 und X 2 äquivalent ist zuX1X2YYX1YX1X2YX1X2

  1. Regressiere und X 1 getrennt gegen X 2 .YX1X2

  2. Regressiere die Residuen gegen die X 1- Residuen.YX1

Die Rückstände aus dem ersten Schritt haben den Effekt von beseitigt . Wenn X 2 eng mit Y korreliert ist , kann dies eine relativ geringe Variation aufdecken, die zuvor maskiert worden war. Wenn diese Variation mit X 1 assoziiert ist , erhalten wir ein signifikantes Ergebnis.X2X2YX1


All dies könnte vielleicht mit einem konkreten Beispiel verdeutlicht werden. Lassen Sie uns Rzunächst zwei orthogonale unabhängige Variablen zusammen mit einem unabhängigen Zufallsfehler generieren :ε

n <- 32
set.seed(182)
u <-matrix(rnorm(2*n), ncol=2)
u0 <- cbind(u[,1] - mean(u[,1]), u[,2] - mean(u[,2]))
x <- svd(u0)$u
eps <- rnorm(n)

(Der svdSchritt stellt sicher, dass die beiden Spalten der Matrix x(die und X 2 darstellen ) orthogonal sind, wodurch Kollinearität als mögliche Erklärung für nachfolgende Ergebnisse ausgeschlossen wird.)X1X2

Als nächstes erstellen Sie als lineare Kombination aus X und Fehler. Ich habe die Koeffizienten angepasst, um das kontraintuitive Verhalten zu erzeugen:YX

y <-  x %*% c(0.05, 1) + eps * 0.01

Dies ist eine Realisierung des Modells mit n = 32 Fällen.YiidN(0.05X1+1.00X2,0.012)n=32

Schauen Sie sich die beiden fraglichen Regressionen an. Erste , zurückbilden gegen X 1 nur:YX1

> summary(lm(y ~ x[,1]))
...
             Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.002576   0.032423  -0.079    0.937
x[, 1]       0.068950   0.183410   0.376    0.710

Der hohe p-Wert von 0,710 zeigt, dass völlig nicht signifikant ist.X1

Als nächstes regressiere gegen X 1 und X 2 :YX1X2

> summary(lm(y ~ x))
...
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.002576   0.001678  -1.535    0.136    
x1           0.068950   0.009490   7.265 5.32e-08 ***
x2           1.003276   0.009490 105.718  < 2e-16 ***

Plötzlich, in Gegenwart von , X 1 ist stark signifikant, wie durch die in der Nähe von Null verschiedenen p-Werten für beiden Variablen angegeben.X2X1

Wir können dieses Verhalten anhand einer Streudiagramm-Matrix der Variablen , X 2 und Y zusammen mit den Residuen veranschaulichen, die bei der zweistufigen Charakterisierung der multiplen Regression oben verwendet wurden. Da X 1 und X 2 orthogonal sind, die X 1 wird Residuen gleich wie X 1 und braucht daher nicht neu gezeichnet werden. Wir werden die Residuen von Y gegen X 2 in die Streudiagramm-Matrix aufnehmen und die folgende Zahl erhalten:X1X2YX1X2X1X1YX2

lmy <- lm(y ~ x[,2])
d <- data.frame(X1=x[,1], X2=x[,2], Y=y, RY=residuals(lmy))
plot(d)

Hier ist ein Rendering davon (mit einer kleinen Verschönerung):

SPM

Diese Grafikmatrix besteht aus vier Zeilen und vier Spalten, die ich von oben und von links nach rechts herunterzählen werde.

Beachten:

  • Das Streudiagramm in der zweiten Zeile und der ersten Spalte bestätigt die Orthogonalität dieser Prädiktoren: Die Linie der kleinsten Quadrate ist horizontal und die Korrelation ist null.(X1,X2)

  • Das Streudiagramm in der dritten Reihe und ersten Spalte zeigt die leichte, aber völlig unbedeutende Beziehung, die durch die erste Regression von Y gegen X 1 berichtet wird . (Der Korrelationskoeffizient ρ beträgt nur 0,07 ).(X1,Y)YX1ρ0.07

  • Das Streudiagramm in der dritten Zeile und zweiten Spalte zeigt die starke Beziehung zwischen Y und der zweiten unabhängigen Variablen. (Der Korrelationskoeffizient beträgt 0,996 ).(X2,Y)Y0.996

  • In der vierten Zeile werden die Beziehungen zwischen den Residuen von (gegen X 2 zurückgegangen ) und anderen Variablen untersucht:YX2

    • Die vertikale Skala zeigt, dass die Residuen (relativ) klein sind: Wir konnten sie im Streudiagramm von gegen X 2 nicht leicht sehen .YX2

    • Die Residuen sind stark korreliert mit ( ρ = 0,80 ). Die Regression gegen X 2 hat dieses zuvor verborgene Verhalten entlarvt.X1ρ=0.80X2

    • Konstruktionsbedingt besteht keine verbleibende Korrelation zwischen den Residuen und .X2

    • Es besteht eine geringe Korrelation zwischen und diesen Residuen ( ρ = 0,09 ). Dies zeigt, wie sich die Residuen ganz anders verhalten können als Y selbst. Auf diese Weise kann X 1 plötzlich als wesentlicher Beitrag zur Regression entlarvt werden.Yρ=0.09YX1

Schließlich ist anzumerken, dass die beiden Schätzungen des -Koeffizienten (beide gleich 0,06895 , nicht weit vom beabsichtigten Wert von 0,05 entfernt ) nur deshalb übereinstimmen , weil X 1 und X 2 orthogonal sind. Außer in geplanten Experimenten ist es selten, dass die Orthogonalität genau gilt. Eine Abweichung von der Orthogonalität führt normalerweise zu einer Änderung der Koeffizientenschätzungen.X10.068950.05X1X2

whuber
quelle
Ich verstehe also, dass die Variabilität erklärt, die X 2 nicht erklärt. Erfordert dies, dass X 2 (wichtiger) als X 1 ist ? Oder kann X 1 ohne Bedeutung von X 2 signifikant gemacht werden ? X1X2X2X1X1X2
Ronald
@Ronald, ich glaube, die Antworten auf deine Fragen lauten nein bzw. ja. Sie können dies herausfinden, indem Sie das Beispiel in dieser Antwort ändern: Ändern Sie die Koeffizienten (0,05 und 0,01) im Modell und die Anzahl der Fälle ( ), um zu sehen, was passiert. n=32
whuber
23

Ich denke, dass dieses Problem auf dieser Website schon ziemlich gründlich diskutiert wurde, wenn Sie nur wussten, wo Sie suchen müssen. Daher werde ich wahrscheinlich später einen Kommentar mit einigen Links zu anderen Fragen hinzufügen oder diesen bearbeiten, um eine umfassendere Erklärung zu liefern, wenn ich keine finde.

Es gibt zwei grundlegende Möglichkeiten: Erstens kann die andere IV einen Teil der Restvariabilität absorbieren und so die Aussagekraft des statistischen Tests der anfänglichen IV erhöhen. Die zweite Möglichkeit ist, dass Sie eine Suppressor-Variable haben. Dies ist ein sehr kontraintuitives Thema, aber Sie finden einige Informationen hier *, hier oder in diesem ausgezeichneten CV-Thread .

* Beachten Sie, dass Sie den gesamten Abschnitt bis zum Ende durchlesen müssen, um zu dem Teil zu gelangen, in dem die Unterdrückungsvariablen erläutert werden. Sie können jedoch auch direkt dorthin springen. Am besten ist es, wenn Sie das Ganze lesen.


Bearbeiten: Wie versprochen, füge ich eine ausführlichere Erläuterung meiner Argumentation dazu hinzu, wie die andere IV einen Teil der verbleibenden Variabilität aufnehmen und damit die Leistung des statistischen Tests der anfänglichen IV erhöhen kann. @whuber fügte ein beeindruckendes Beispiel hinzu, aber ich dachte, ich könnte ein komplementäres Beispiel hinzufügen, das dieses Phänomen auf eine andere Art und Weise erklärt, was einigen Leuten helfen könnte, das Phänomen besser zu verstehen. Außerdem zeige ich, dass die zweite IV nicht stärker assoziiert werden muss (obwohl dieses Phänomen in der Praxis fast immer auftreten wird).

Covariaten in einem Regressionsmodell können mit Tests getestet werden, indem die Parameterschätzung durch ihren Standardfehler dividiert wird, oder sie können mit F- Tests getestet werden, indem die Quadratsummen partitioniert werden. Wenn SS vom Typ III verwendet werden, sind diese beiden Testmethoden gleichwertig (für weitere Informationen zu SS-Typen und zugehörigen Tests kann es hilfreich sein, meine Antwort hier zu lesen: So interpretieren Sie SS vom Typ I ). Für diejenigen, die gerade erst anfangen, sich mit Regressionsmethoden vertraut zu machen, stehen die t- Tests häufig im Mittelpunkt, da sie für die Menschen verständlicher erscheinen. Dies ist jedoch ein Fall, in dem ein Blick auf die ANOVA-Tabelle meiner Meinung nach hilfreicher ist. Erinnern wir uns an die grundlegende ANOVA-Tabelle für ein einfaches Regressionsmodell: tFt

QuelleSSdfFRAUFX1(y^ich-y¯)21SSX1dfX1FRAUX1FRAUresRestwert(yich-y^ich)2N-(1+1)SSresdfresGesamt(yich-y¯)2N-1

Hier ist der Mittelwert von y , y i der beobachtete Wert ist y für Einheit (zB Patient) i , y i Modells vorhergesagten Wert für Einheit i , und N ist die Gesamtzahl der Einheiten in der Studie. Wenn Sie ein multiples Regressionsmodell mit zwei orthogonalen Kovariaten haben, könnte die ANOVA-Tabelle folgendermaßen aufgebaut sein: y¯yyichyichy^ichichN

QuelleSSdfFRAUFX1(y^X1ichX¯2-y¯)21SSX1dfX1FRAUX1FRAUresX2(y^X¯1X2ich-y¯)21SSX2dfX2FRAUX2FRAUresRestwert(yich-y^ich)2N-(2+1)SSresdfresGesamt(yich-y¯)2N-1

Hier y x 1 i, zum Beispiel, ist der vorausgesagte Wert für Einheitiwenn sein beobachtete Wert fürx1den tatsächlichen beobachteten Wert war, aber die beobachtete Wert fürx2war der Mittelwert vonx2. Natürlich ist es möglichdassˉx2istder beobachtete Wert vonx2y^X1ichX¯2ichX1X2X2X¯2 X2Für einige Beobachtungen sind in diesem Fall keine Anpassungen erforderlich, dies ist jedoch normalerweise nicht der Fall. Beachten Sie, dass diese Methode zum Erstellen der ANOVA-Tabelle nur gültig ist, wenn alle Variablen orthogonal sind. Dies ist ein stark vereinfachter Fall, der für Expository-Zwecke erstellt wurde.

Wenn wir die Situation betrachten, in der die gleichen Daten verwendet werden, um ein Modell mit und ohne anzupassen , dann wird das beobachtetX2 anzupassen y- Werte und ˉ y dieselben. Somit muss die Gesamt-SS in beiden ANOVA-Tabellen gleich sein. Wenn x 1 und x 2 orthogonal zueinander sind, ist S S x 1 außerdem auch in beiden ANOVA-Tabellen identisch. Wie kommt es also, dass es mit x 2 verknüpfte Quadratsummenin der Tabelle geben kann? Woher kommen sie, wenn die gesamte SS und S S x 1yy¯X1X2SSX1X2SSX1sind gleich? Die Antwort ist , dass sie herkam . Die df x 2 werden ebenfalls aus df res entnommen . SSresdfX2dfres

Nun ist der Test von x 1 der MFX1 geteilt durch M S res in beiden Fällen. Da M S x 1 gleich ist, ergibt sich der Unterschied in der Signifikanz dieses Tests aus der Änderung von M S res , die sich auf zwei Arten geändert hat: Es begann mit weniger SS, weil einige auf x 2 aufgeteilt waren , aber dies sind geteilt durch weniger df, da auch x 2 Freiheitsgrade zugewiesen wurden. Die Änderung der Signifikanz / Potenz des F - Tests (und entsprechend derMSX1MSresMSX1MSresX2X2F test ist in diesem Fall darauf zurückzuführen, wie sich diese beiden Änderungen auswirken. Wenn mehr SS gegeben x 2 , bezogen auf die df, die gegeben sind , x 2 , danndie M S res verringert, wodurch die F mit zugehörigem x 1 zu erhöhen und p mehrBedeutung zu gewinnen. tX2X2MSresFX1p

Der Effekt von muss nicht größer als x 1 sein, damit dies auftritt. Ist dies jedoch nicht der Fall , sind die Verschiebungen der p- Werte recht gering. Die einzige Möglichkeit, zwischen Nicht-Signifikanz und Signifikanz zu wechseln, besteht darin, dass die p- Werte auf beiden Seiten des Alphas nur geringfügig sind. Hier ist ein Beispiel, codiert in : X2X1ppR

x1 = rep(1:3, times=15)
x2 = rep(1:3, each=15)
cor(x1, x2)     # [1] 0
set.seed(11628)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
model1  = lm(y~x1)
model12 = lm(y~x1+x2)

anova(model1)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  3.9568 0.05307 .
# Residuals 43 57.745  1.3429                  
#  ...
anova(model12)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  4.2471 0.04555 *
# x2         1  5.198  5.1979  4.1546 0.04785 *
# Residuals 42 52.547  1.2511                  
#  ...

Tatsächlich muss überhaupt nicht signifikant sein. Erwägen: X2

set.seed(1201)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
anova(model1)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  3.8461 0.05636 .
# ...
anova(model12)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  4.0740 0.04996 *
# x2         1  3.162  3.1620  3.5478 0.06656 .
# ...

Dies ist zugegebenermaßen nichts anderes als das dramatische Beispiel in @ whubers Beitrag, aber es kann den Leuten helfen, zu verstehen, was hier vor sich geht.

gung - Wiedereinsetzung von Monica
quelle
1
(+1) für "Erstens kann die andere IV einen Teil der Restvariabilität absorbieren und somit die Leistung des statistischen Tests der anfänglichen IV erhöhen", was @whuber ein schönes Beispiel für
Makro
(+1) Am Anfang gibst du drei Links. Die erste (externe) ist leider defekt (404-Fehler). Abgesehen davon: Sie sagen, dass es "zwei grundlegende Möglichkeiten" gibt: Die hinzugefügte zweite IV erhöht die Fähigkeit, die erste IV zu testen (und dies ist genau die Situation, die Whuber und Wayne in ihren Antworten beschrieben haben), oder es gibt eine Unterdrückervariable (welches übrigens? das erste oder das zweite?). Meine Frage: Sind das wirklich zwei unterschiedliche Situationen? Oder ist es im Wesentlichen dasselbe, vielleicht etwas anders gesehen? Es wäre großartig, wenn Sie das erweitern könnten.
Amöbe sagt Reinstate Monica
@gung, danke für die Antwort. Ttnphns beginnt mit einem Link zu einer Veröffentlichung, in der die Unterdrückung und einige andere verwandte Effekte diskutiert werden, und diese Veröffentlichung behauptet, dass "die allgemein akzeptierte Definition einer Suppressorvariablen (Tzelgov & Henik, 1991) []" eine Variable ist, die die Vorhersagevalidität erhöht einer anderen Variablen (oder eines Satzes von Variablen) durch ihre Einbeziehung in eine Regressionsgleichung "". Das klingt genau so, wie das, wonach OP hier gefragt hat. Deshalb war ich verwirrt, als Sie sagten, dass es zwei verschiedene Gründe geben könnte .
Amöbe sagt Reinstate Monica
1
@amoeba, der Punkt ist, dass Sie 2 verschiedene Mechanismen haben. Das heißt, Sie haben zwei verschiedene zugrunde liegende DAGs. Die äußere Manifestation mag ähnlich sein, und die zusätzliche Kraft mag mehr oder weniger sein, aber der Grund, warum die 2. Variable hilft, unterscheidet sich b / c die Beziehung der 2. Variablen zu x1 & y unterscheidet sich. Wenn es nicht klar ist, müssen Sie möglicherweise eine neue Frage stellen. Es ist schwer, in Kommentaren zu viel zu tun.
gung - Reinstate Monica
17

Es scheint, dass die Frage des OP auf zwei verschiedene Arten interpretiert werden kann:

  1. Wie funktioniert OLS mathematisch, sodass sich das Hinzufügen einer unabhängigen Variablen auf unerwartete Weise ändern kann?

  2. Wie kann das Ändern meines Modells durch Hinzufügen einer Variablen den Effekt einer anderen unabhängigen Variablen im Modell ändern?

Zu Frage 1 gibt es bereits mehrere gute Antworten. Und Frage Nr. 2 ist für die Experten möglicherweise so offensichtlich, dass sie davon ausgehen, dass das OP stattdessen Frage Nr. 1 stellen muss. Aber ich denke, Frage 2 verdient eine Antwort, die ungefähr so ​​aussieht:

Beginnen wir mit einem Beispiel. Angenommen, Sie hatten die Größe, das Alter, das Geschlecht usw. mehrerer Kinder und wollten eine Regression durchführen, um deren Größe vorherzusagen.

Sie beginnen mit einem naiven Modell, das Geschlecht als unabhängige Variable verwendet. Und es ist statistisch nicht signifikant. (Wie könnte es sein, Sie mischen 3-Jährige und Teenager.)

Dann fügt man das Alter hinzu und plötzlich ist nicht nur das Alter signifikant, sondern auch das Geschlecht. Wie kann das sein?

Natürlich können Sie in meinem Beispiel deutlich sehen, dass das Alter ein wichtiger Faktor für die Größe eines Kindes / Teenagers ist. Wahrscheinlich der wichtigste Faktor, über den Sie Daten haben. Auch das Geschlecht kann von Bedeutung sein, insbesondere für ältere Kinder und Erwachsene, aber das Geschlecht allein ist ein schlechtes Modell dafür, wie groß ein Kind ist.

Alter plus Geschlecht ist ein angemessenes (natürlich vereinfachtes) Modell, das für die Aufgabe angemessen ist. Wenn Sie andere Daten hinzufügen - Interaktion von Alter und Geschlecht, Ernährung, Größe der Eltern usw. -, könnten Sie ein noch besseres Modell erstellen, das natürlich im Vergleich zu der Vielzahl von Faktoren, die die Größe eines Kindes tatsächlich bestimmen, noch vereinfacht wird. Andererseits sind alle Modelle vereinfachte Versionen der Realität. (Eine Weltkarte im Maßstab 1: 1 ist für einen Reisenden nicht allzu nützlich.)

Ihr ursprüngliches Modell (nur Geschlecht) ist zu vereinfacht - so vereinfacht, dass es im Wesentlichen kaputt ist. Das heißt aber nicht, dass das Geschlecht für ein besseres Modell nicht nützlich ist.

BEARBEITEN: gungs Vorschlag bezüglich des Interaktionsbegriffs von Alter und Geschlecht hinzugefügt.

Wayne
quelle
1
+1, nb, age & gender benötigen vermutlich auch einen Interaktionsbegriff.
gung - Wiedereinsetzung von Monica
1
+1 Das ist ein großartiges Beispiel, weil es so einfach und intuitiv verständlich ist und gleichzeitig genau zu der Situation passt , die in seiner hier akzeptierten Antwort von @whuber viel detaillierter, aber nur abstrakt beschrieben wurde.
Amöbe sagt Reinstate Monica
10

Dieser Thread hat bereits drei ausgezeichnete Antworten (jeweils +1). Meine Antwort ist ein ausführlicher Kommentar und eine Illustration zu dem von @gung gemachten Punkt (der einige Zeit in Anspruch nahm, um zu verstehen):

Es gibt zwei grundlegende Möglichkeiten: Erstens kann die andere IV einen Teil der Restvariabilität absorbieren und so die Aussagekraft des statistischen Tests der anfänglichen IV erhöhen. Die zweite Möglichkeit ist, dass Sie eine Suppressor-Variable haben.

X1X2ynRnyX1X2(wobei die "Hutmatrix" einfach ein Projektor ist). Leser, die mit diesem Ansatz nicht vertraut sind, können z. B. in The Elements of Statistical Learning , Abschnitt 3.2, oder in vielen anderen Büchern nachschlagen .

"Erweiterung"

Die folgende Abbildung zeigt beide nach @gung aufgelisteten Möglichkeiten. Betrachten Sie zunächst nur den blauen Teil (dh ignorieren Sie alle roten Linien):

Verstärkung und Unterdrückung

X1X2Xyy^

X2yX1α90yX1X1

X2X1X2X1X2X2yβα90X1

Mit anderen Worten, der Test vergleicht jetzt die Länge von OF mit OG und nicht wie zuvor mit OC. OF ist klein und "unbedeutend" im Vergleich zu OC, aber groß genug, um im Vergleich zu OG "signifikant" zu sein.

Dies ist genau die Situation, die @whuber, @gung und @Wayne in ihren Antworten dargestellt haben. Ich weiß nicht, ob dieser Effekt einen Standardnamen in der Regressionsliteratur hat, daher werde ich ihn "Verbesserung" nennen.

Unterdrückung

Beachten Sie, dass oben, wenn α=90β=90X1 alleine genau Null war, wird er genau Null bleiben.

Nicht so bei der Unterdrückung.

X3X1X2X3XX1X3X1Xy bleibt auch die dieselbe. Die Zerlegung von OD in Beiträge beider Prädiktoren ändert sich jedoch drastisch: Jetzt wird OD in OF 'und OE' zerlegt.

Beachten Sie, dass OF 'viel länger ist als früher. Ein statistischer Test würde die Länge von OF 'mit E'C vergleichen und daraus schließen, dass der Beitrag vonX1X1y

Amöbe sagt Reinstate Monica
quelle
1
Ich fand, dass Ihre Antwort mit Hilfe der geometrischen Interpretation am einfachsten zu verstehen ist. Hervorragend!
Zsljulius
1
α=0yX1yX1cOr(X1,y)=1X1yyX1
Qoheleth
@qoheleth Danke, dass du es bemerkt hast. In diesem Absatz sollte . Ich werde bearbeiten, um zu beheben. α=90
Amöbe sagt Reinstate Monica