Wie wird in der Praxis die Kovarianzmatrix für zufällige Effekte in einem Modell mit gemischten Effekten berechnet?

19

Grundsätzlich frage ich mich, wie unterschiedliche Kovarianzstrukturen erzwungen werden und wie die Werte in diesen Matrizen berechnet werden. Funktionen wie lme () erlauben es uns, die Struktur auszuwählen, die wir möchten, aber ich würde gerne wissen, wie sie geschätzt werden.

Betrachten Sie das lineare Mischeffektmodell .Y=Xβ+Zu+ϵ

Wobei und . Außerdem:d N ( 0 , R )udN(0,D)ϵdN(0,R)

Var(Y|X,Z,β,u)=R

Var(Y|X,β)=ZDZ+R=V

Der Einfachheit halber nehmen wir .R=σ2In

Grundsätzlich ist meine Frage: Wie genau wird aus den Daten für die verschiedenen Parametrisierungen geschätzt? Sagen wir, wenn wir annehmen, dass diagonal ist (zufällige Effekte sind unabhängig) oder vollständig parametrisiert ist (falls es mich im Moment mehr interessiert) oder eine der verschiedenen anderen Parametrisierungen? Gibt es einfache Schätzer / Gleichungen für diese? (Das wäre zweifellos iterativ geschätzt.)D DDDD

EDIT: Aus dem Buch Variance Components (Searle, Casella, McCulloch 2006) habe ich Folgendes herausgearbeitet:

Wenn ist, werden die Varianzkomponenten wie folgt aktualisiert und berechnet:D=σu2Iq

σu2(k+1)=u^Tu^σu2(k)trace(V1ZTZ)

σe2(k+1)=Y(YXβ^(k)Zu^(k))/n

Wobei und die ten Aktualisierungen sind. u (k)kβ^(k)u^(k)k

Gibt es allgemeine Formeln, wenn blockdiagonal oder vollständig parametriert ist? Ich vermute, dass im vollständig parametrisierten Fall eine Cholesky-Zerlegung verwendet wird, um eine positive Bestimmtheit und Symmetrie sicherzustellen.D

dcl
quelle
2
arxiv.org/pdf/1406.5823 (im Druck bei Journal of Statistical Software ) könnte nützlich sein ...
Ben Bolker

Antworten:

8

Das mit Goldstein .pdf @probabilityislogic verknüpfte Dokument ist ein großartiges Dokument. Hier ist eine Liste einiger Referenzen, die Ihre spezielle Frage behandeln:

Harville, 1976: Erweiterung des Gauß-Markov-Theorems um die Abschätzung zufälliger Effekte .

Harville, 1977: Maximum-Likelihood-Ansätze zur Varianzkomponentenschätzung und zu verwandten Problemen .

Laird und Ware, 1982: Random-Effects-Modelle für longitudinale Daten .

McCulloch, 1997: Maximum-Likelihood-Algorithmen für verallgemeinerte lineare gemischte Modelle .

Der SAS-Benutzerhandbuch-Auszug für das MIXED-Verfahren enthält einige nützliche Informationen zur Kovarianzschätzung und viele weitere Quellen (ab Seite 3968).

Es gibt zahlreiche Qualitätslehrbücher zur Datenanalyse von Längs- / Wiederholungsmessungen, aber hier ist eines, das einige Details zur Implementierung in R enthält (von den Autoren von lme4und nlme):

Pinheiro und Bates, 2000: Mixed-Effects-Modelle in S und S-PLUS .

EDIT : Eine weitere relevante Veröffentlichung: Lindstrom und Bates, 1988: Newton-Raphson- und EM-Algorithmen für lineare Mischeffektmodelle für Messwiederholungsdaten .

EDIT 2 : Und noch eines: Jennrich und Schluchter, 1986: Unausgeglichene Messwiederholungsmodelle mit strukturierten Kovarianzmatrizen .


quelle
Ich habe mir Pinheiro und Bates angeschaut, insbesondere Kapitel 2 (zu Theorie und Berechnung), aber ich habe anscheinend nichts darüber herausgefunden, wie die Kovarianzstruktur erzwungen und geschätzt wird. Ich werde es gleich noch einmal durchgehen. Ich habe nur ein paar dieser Papiere hier, ich werde sie definitiv noch einmal lesen müssen. Prost.
dcl
1
@dcl Wenn ich in Kapitel 2 von P & B zurückblicke, sehe ich, dass sie einige der Schritte, an denen Sie interessiert sind, beschönigen (sie erwähnen die Optimierung der Protokollwahrscheinlichkeit in Bezug auf die Kovarianzparameter, sagen aber nicht, wie ). Abgesehen davon kann Abschnitt 2.2.8 der Abschnitt sein, der Ihre Frage am besten beantwortet.
1
@dcl Es wurde eine weitere Quelle hinzugefügt, die möglicherweise hilfreich ist.
danke für die links. Ich habe diese Papiere in der Vergangenheit durchgesehen, einige davon sind für mich ziemlich technisch. Ich werde sie jetzt noch einmal durchsehen, aber auf den ersten Blick kann ich nicht scheinen, was ich von ihnen will.
dcl
1
@dcl Entschuldigen Sie die vielen Links, aber Ihre Frage ist eine, über die eine Person ein paar vollständige Vorlesungen halten kann (eine sehr gute Frage, die beim ersten Erlernen von Modellen mit gemischten Effekten unter den Teppich gekehrt wird). Abgesehen davon, dass Sie in der Literatur stöbern, können Sie sich den Quellcode ansehen lme4und sehen, wie er mit dieser Schätzung umgeht.
7

Harvey Goldstein ist kein schlechter Ausgangspunkt.

Wie bei den meisten komplexen Schätzmethoden variiert sie mit dem Softwarepaket. Oftmals werden jedoch die folgenden Schritte ausgeführt:

  1. Wählen Sie einen Anfangswert für (sagen Sie ) und (sagen Sie ). SetzeD 0 R R 0 i = 1DD0RR0i=1
  2. Bedingt durch und , Schätzung von und und . Nennen Sie die Schätzungen und und . R = R i - 1 β u ε β i u i ε iD=Di1R=Ri1βuϵβiuiϵi
  3. Conditional auf und und , schätzen und . Nennen Sie die Schätzungen und u = u i ϵ = ϵ i D R D i R iβ=βiu=uiϵ=ϵiDRDiRi
  4. Überprüfen Sie die Konvergenz. Wenn nicht konvergiert, setze und kehre zu Schritt 2 zurücki=i+1

Eine einfache und schnelle Methode ist IGLS, die auf der Iteration zwischen zwei Verfahren der kleinsten Quadrate basiert und in Kapitel 2 ausführlich beschrieben wird. Nachteil ist, dass es für Varianzkomponenten nahe Null nicht gut funktioniert.

Wahrscheinlichkeitslogik
quelle
Ich weiß, dass dies die allgemeine Methode ist, aber wie werden D und R geschätzt, welche Gleichungen werden für die verschiedenen Strukturen verwendet? Was sind gute Anfangswerte? Ich werde das PDF jetzt auschecken, Prost.
dcl