Das Hinzufügen eines zufälligen Effekts beeinflusst die Koeffizientenschätzungen

Mir wurde immer beigebracht, dass zufällige Effekte nur die Varianz (Fehler) beeinflussen und dass feste Effekte nur den Mittelwert beeinflussen. Aber ich habe ein Beispiel gefunden, bei dem zufällige Effekte auch den Mittelwert beeinflussen - die Koeffizientenschätzung:

require(nlme)
set.seed(128)
n <- 100
k <- 5
cat <- as.factor(rep(1:k, each = n))
cat_i <- 1:k # intercept per kategorie
x <- rep(1:n, k)
sigma <- 0.2
alpha <- 0.001
y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
plot(x, y)

# simulate missing data
y[c(1:(n/2), (n*k-n/2):(n*k))] <- NA

m1 <- lm(y ~ x)
summary(m1)

m2 <- lm(y ~ cat + x)
summary(m2)

m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit)
summary(m3)

Sie können sehen, dass der geschätzte Koeffizient für xvom Modell m1-0,013780 beträgt, während er vom Modell m30,0011713 beträgt - beide unterscheiden sich signifikant von Null.

Beachten Sie, dass die Ergebnisse beim Entfernen der Zeile, in der fehlende Daten simuliert werden, dieselben sind (es handelt sich um eine vollständige Matrix).

Warum das?

PS: Bitte beachten Sie, dass ich kein professioneller Statistiker bin. Wenn Sie also mit viel Mathematik antworten möchten, machen Sie bitte auch eine einfache Zusammenfassung für Dummies :-)

"Mir wurde immer beigebracht, dass zufällige Effekte nur die Varianz (Fehler) beeinflussen und dass feste Effekte nur den Mittelwert beeinflussen."

Wie Sie festgestellt haben, gilt dies nur für ausgewogene, vollständige (dh keine fehlenden Daten) Datensätze ohne kontinuierliche Prädiktoren. Mit anderen Worten, für die Arten von Daten / Modellen, die in klassischen ANOVA-Texten diskutiert werden. Unter diesen idealen Umständen können die festen Effekte und zufälligen Effekte unabhängig voneinander geschätzt werden.

Wenn diese Bedingungen nicht zutreffen (wie es sehr, sehr oft nicht in der "realen Welt" der Fall ist), sind die festen und zufälligen Effekte nicht unabhängig. Interessanterweise werden deshalb "moderne" gemischte Modelle mit iterativen Optimierungsmethoden geschätzt, anstatt wie im klassischen gemischten ANOVA-Fall mit ein wenig Matrixalgebra genau gelöst zu werden: Um die festen Effekte abzuschätzen, müssen wir kennen die zufälligen Effekte, aber um die zufälligen Effekte abzuschätzen, müssen wir die festen Effekte kennen! Für die vorliegende Frage relevanter bedeutet dies auch, dass durch Anpassen der Daten mit zufälligen Effekten des gemischten Modells die Schätzungen des festen Teils des Modells geändert werden können, wenn die Daten unausgeglichen / unvollständig sind und / oder kontinuierliche Prädiktoren im Modell vorhanden sind , und umgekehrt.

Bearbeiten 2016-07-05. Aus den Kommentaren: " Könnten Sie näher erläutern oder zitieren, warum kontinuierliche Prädiktoren die Schätzungen des festen Teils des Modells beeinflussen? "

Die Schätzungen für den festen Teil des Modells hängen von den Schätzungen für den zufälligen Teil des Modells ab, dh von den geschätzten Varianzkomponenten, wenn (aber nicht nur wenn) die Varianz der Prädiktoren zwischen den Clustern unterschiedlich ist. Dies ist mit ziemlicher Sicherheit der Fall, wenn einer der Prädiktoren kontinuierlich ist (zumindest in Daten der "realen Welt" - theoretisch könnte dies möglicherweise nicht zutreffen, z. B. in einem konstruierten Datensatz).

Auf der ersten Ebene denke ich, dass Sie alles ignorieren, was zu einer Schrumpfung der Bevölkerungswerte führt. " Die Steigungen und Abschnitte pro Subjekt aus dem Modell mit gemischten Effekten liegen näher an den Bevölkerungsschätzungen als die Schätzungen der kleinsten Quadrate innerhalb des Subjekts. " [Ref. 1]. Der folgende Link wird wahrscheinlich auch hilfreich sein ( Was sind die richtigen Beschreibungen für meine gemischten Modelle? ), Siehe Mike Lawrences Antwort).

Darüber hinaus denke ich, dass Sie in Ihrem Spielzeugbeispiel etwas Pech haben, weil Sie ein perfekt ausbalanciertes Design haben, das dazu führt, dass Sie genau die gleiche Schätzung haben, wenn keine Werte fehlen.

Versuchen Sie den folgenden Code, der denselben Prozess ohne fehlenden Wert hat:

 cat <- as.factor(sample(1:5, n*k, replace=T) ) #This should be a bit unbalanced.
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) 

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits= 7,fixef(m3)) ==  round(digits=7, coef(m1)) #Not this time lad.
 #(Intercept)           x 
 #      FALSE       FALSE 

Wo jetzt, weil Ihr Design nicht perfekt ausbalanciert ist, haben Sie nicht die gleichen Koeffizientenschätzungen.

Wenn Sie auf dumme Weise mit Ihrem fehlenden Wertemuster spielen (zum Beispiel :), y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NAdamit Ihr Design immer noch perfekt ausbalanciert ist, erhalten Sie wieder dieselben Koeffizienten.

 require(nlme)
 set.seed(128)
 n <- 100
 k <- 5
 cat <- as.factor(rep(1:k, each = n))
 cat_i <- 1:k # intercept per kategorie
 x <- rep(1:n, k)
 sigma <- 0.2
 alpha <- 0.001
 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma)
 plot(x, y)

 # simulate missing data in a perfectly balanced way
 y[ c(1:10, 100 + 1:10, 200 + 1:10, 300 + 1:10, 400 +1:10)] <- NA

 m1 <- lm(y ~ x)  
 m3 <- lme(y ~ x, random = ~ 1|cat, na.action = na.omit) 

 round(digits=7,fixef(m3)) ==  round(digits=7, coef(m1)) #Look what happend now...
 #(Intercept)           x 
 #       TRUE        TRUE 

Sie werden durch das perfekte Design Ihres ursprünglichen Experiments geringfügig irregeführt. Wenn Sie die NAs in einem nicht ausgeglichenen Abstand einfügen, haben Sie das Muster geändert, wie viel "Stärke" die einzelnen Probanden voneinander leihen können.

Kurz gesagt, die Unterschiede, die Sie sehen, sind auf Schrumpfeffekte zurückzuführen, insbesondere darauf, dass Sie Ihr ursprüngliches perfekt ausbalanciertes Design mit nicht perfekt ausbalancierten fehlenden Werten verzerrt haben.

Ref 1: Douglas Bates lme4: Modellierung mit gemischten Effekten mit R , Seiten 71-72