Multiple Regression oder partieller Korrelationskoeffizient? Und die Beziehungen zwischen den beiden

35

Ich weiß nicht einmal, ob diese Frage sinnvoll ist, aber was ist der Unterschied zwischen multipler Regression und partieller Korrelation (abgesehen von den offensichtlichen Unterschieden zwischen Korrelation und Regression, die ich nicht anstrebe)?

Ich möchte Folgendes herausfinden:
Ich habe zwei unabhängige Variablen ( x1 , ) und eine abhängige Variable ( ). Jetzt werden die unabhängigen Variablen einzeln nicht mit der abhängigen Variablen korreliert. Aber für ein gegebenes nimmt ab, wenn abnimmt. Analysiere ich das also mittels multipler Regression oder partieller Korrelation ? y x 1 y x 2x2yx1 yx2

bearbeiten, um hoffentlich meine Frage zu verbessern: Ich versuche den Unterschied zwischen multipler Regression und partieller Korrelation zu verstehen. Wenn also für ein gegebenes abnimmt, wenn abnimmt, ist dies auf die kombinierte Auswirkung von und auf (multiple Regression) oder auf die Beseitigung der Auswirkung von (partielle Korrelation)?x 1 x 2 x 1 x 2 yyx1x2x1x2yx1

user34927
quelle
3
Welche inhaltliche Frage möchten Sie beantworten?
gung - Wiedereinsetzung von Monica
Siehe auch sehr ähnliche Frage stats.stackexchange.com/q/50156/3277 .
TTNPHNS

Antworten:

32

Multipler linearer Regressionskoeffizient und partielle Korrelation sind direkt miteinander verknüpft und haben die gleiche Signifikanz (p-Wert). Teil r ist neben dem Beta- Koeffizienten (standardisierter Regressionskoeffizient) nur eine andere Möglichkeit, den Koeffizienten zu standardisieren.. Wenn also die abhängige Variable y ist und die unabhängigenVariablen x 1 und x 2 sind, dann1yx1x2

Beta:βx1=ryx1ryx2rx1x21rx1x22

Partial r:ryx1.x2=ryx1ryx2rx1x2(1ryx22)(1rx1x22)

Sie sehen, dass die Zähler identisch sind, was darauf hinweist, dass beide Formeln den gleichen eindeutigen Effekt von messen . Ich werde versuchen zu erklären, wie die beiden Formeln strukturell identisch sind und wie sie nicht.x1

Angenommen, Sie haben alle drei Variablen z-standardisiert (Mittelwert 0, Varianz 1). Der Zähler ist dann gleich der Kovarianz zwischen zwei Arten von Residuen : die (a) Residuen, die bei der Vorhersage von durch x 2 übrig sind [Standard für beide Variablen] und die (b) Residuen, die bei der Vorhersage von x 1 durch x 2 übrig sind [Standard für beide Variablen] . Darüber hinaus beträgt die Varianz der Residuen (a) 1 - r 2 y x 2 ; Die Varianz der Residuen (b) beträgt 1 - r 2 x 1 x 2 .yx2x1x21ryx221rx1x22

Die Formel für die partielle Korrelation ergibt sich dann eindeutig aus der Formel von Pearson , wie sie in diesem Fall zwischen den Residuen (a) und den Residuen (b) berechnet wird: Pearson r ist bekanntlich die Kovarianz dividiert durch den Nenner, der das geometrische Mittel von ist zwei verschiedene Varianzen.rr

Der standardisierte Koeffizient Beta ist strukturell wie Pearson , nur dass der Nenner das geometrische Mittel einer Varianz mit dem eigenen Selbst ist . Die Varianz der Residuen (a) wurde nicht gezählt; es wurde durch eine zweite Zählung der Varianz der Residuen (b) ersetzt. Beta ist also die Kovarianz der beiden Residuen relativ zur Varianz einer von ihnenr (insbesondere derjenigen, die sich auf den interessierenden Prädiktor bezieht ). Während die partielle Korrelation, wie bereits bemerkt, dieselbe Kovarianz relativ zu ihrer hybriden Varianz ist. Beide Arten von Koeffizienten sind Möglichkeiten, den Effekt von x 1 im Milieu anderer Prädiktoren zu standardisieren .x1x1

Einige numerische Konsequenzen des Unterschieds. Wenn das R-Quadrat der multiplen Regression von durch x 1 und x 2 zufällig 1 ist, sind beide Teilkorrelationen der Prädiktoren mit dem abhängigen ebenfalls 1 Absolutwert (aber die Betas sind im Allgemeinen nicht 1). In der Tat, wie zuvor gesagt, r y x 1 . x 2 ist die Korrelation zwischen den Residuen von und den Residuen von . Wenn das, was nicht x 2 in y ist, genau das ist , was nicht x 2 in x 1 istyx1x2ryx1.x2y <- x2x1 <- x2x2y x2x1dann gibt es nichts in , das weder x 1 noch x . x 2 wird hoch sein. β x 1yx1 : vollständige Passform. Was auch immer der Betrag des unerklärten (durch x 2 ) Teils ist, der in y (dem 1 - r 2 y x 2 )übrig ist, wenn er relativ stark durch den unabhängigen Teil von x 1 (durch das 1 - r 2 x 1 x erfasst wird 2 ) das r y x 1x2x2y1ryx22x11rx1x22ryx1.x2βx1Andererseits wird es nur dann hoch sein, wenn der unerklärte Teil von , der erfasst wird, selbst ein wesentlicher Teil von y ist .yy


Aus den obigen Formeln erhält man (und erstreckt sich von einer 2-Prädiktor-Regression zu einer Regression mit einer beliebigen Anzahl von Prädiktoren )die Umwandlungsformel zwischen Beta- und entsprechenden Teil r:x1,x2,x3,...

ryx1.X=βx1var(ex1X)var(eyX),

wobei für die Sammlung aller Prädiktoren mit Ausnahme des Stroms ( x 1 ) steht; e y X sind die Residuen der Regression von y um X und e x 1XXx1eyXyXex1X die Residuen aus Regressing sind durch X , so dass sie die Variablen in diesen beiden Regressionen eingeben standardisiert .x1X

Anmerkung: Wenn wir Teilkorrelationen von y berechnen müsseny mit jedem Prädiktor wird diese Formel normalerweise nicht verwendet, sodass zwei zusätzliche Regressionen erforderlich sind. Vielmehr werden die Sweep-Operationen (häufig in schrittweisen und allen Untersatz-Regressionsalgorithmen verwendet) durchgeführt oder eine Anti-Bild-Korrelationsmatrix berechnet.x


β x 1 = b x1 ist die Beziehung zwischen dem Ausgangβx1=bx1σx1σy und den standardisierten β Koeffizienten in Regression mit intercept.bβ

ttnphns
quelle
Vielen Dank. Aber wie entscheide ich mich für einen, zB für den in meiner Frage beschriebenen Zweck?
user34927
2
Sie können natürlich frei wählen: Die Zähler sind die gleichen, sodass sie die gleichen Informationen übermitteln . Was Ihre (nicht vollständig geklärte) Frage betrifft, scheint es sich um Themen zu handeln, bei denen "0 sein kann, wenn r nicht 0 ist". msgstr "kann Coef. ungleich 0 sein, wenn r 0 ist". Es gibt viele Fragen dazu auf der Website. Zum Beispiel könnten Sie stats.stackexchange.com/q/14234/3277 lesen ; stats.stackexchange.com/q/44279/3277 .
TTNPHNS
Ich habe versucht, meine Frage zu klären ..
user34927
Fixing X1 ("x1 given") = Entfernen (Steuern) der Wirkung von X1. Bei der multiplen Regression gibt es keinen "kombinierten Effekt" (es sei denn, Sie fügen die Interaktion X1 * X2 hinzu). Effekte bei der Mehrfachregression sind wettbewerbsfähig. Lineare Regressionseffekte sind tatsächlich Teilkorrelationen.
TTNPHNS
1
Warten Sie ein bisschen, @ user34927. to prove that the DV (Y) is significantly correlated with one of two IVs (X1) if the effect of the other IV (X2) is removedDer Effekt von wo entfernt ? Wenn Sie X2 sowohl von Y als auch von X1 "entfernen", dann wird der korr. zwischen Y und X1 ist die partielle Korrelation. Wenn Sie nur X2 von X1 "entfernen", wird der korr. zwischen Y und X1 wird die Teilkorrelation (oder die semi-partielle Korrelation) genannt. Bist du wirklich fragen sie ?
TTNPHNS
0

Bin nur zufällig auf diesen Schritt gestoßen. In der ursprünglichen Antwort ist in der Formel für der Faktor βx1 fehlt, dh β x 1 = r y x 1 - r y x 2 r x 1 x 2SSY/SSX1

βx1=ryx1ryx2 rx1x21rx1x22×SSYSSX1,
SSY=i(yiy¯)2SSX1=i(x1ix¯1)2 .
Brani
quelle
Sie geben die Formel von b. Meine Antwort war ungefährβ.
TTNPHNS