Was sind leicht zu interpretierende Anpassungsgütemessungen für lineare Modelle mit gemischten Effekten?

37

Ich benutze derzeit das R-Paket lme4 .

Ich verwende ein lineares Mischeffektmodell mit zufälligen Effekten:

library(lme4)
mod1 <- lmer(r1 ~ (1 | site), data = sample_set) #Only random effects
mod2 <- lmer(r1 ~ p1 + (1 | site), data = sample_set) #One fixed effect + 
            # random effects
mod3 <- lmer(r1 ~ p1 + p2 + (1 | site), data = sample_set) #Two fixed effects + 
            # random effects

Um Modelle zu vergleichen, benutze ich die anovaFunktion und betrachte die Unterschiede im AIC zum niedrigsten AIC-Modell:

anova(mod1, mod2, mod3)

Das oben genannte ist gut für den Vergleich von Modellen.

Ich brauche jedoch auch eine einfache Methode, um die Maße für die Anpassungsgüte für jedes Modell zu interpretieren. Hat jemand Erfahrung mit solchen Maßnahmen? Ich habe einige Nachforschungen angestellt, und es gibt Zeitschriftenartikel zu R squared für die festen Effekte von Mixed-Effects-Modellen:

  • Cheng, J., Edwards, LJ, Maldonado-Molina, MM, Komro, KA, & amp; Müller, KE (2010). Echte Längsschnittdatenanalyse für echte Menschen: Aufbau eines ausreichend gut gemischten Modells. Statistics in Medicine, 29 (4), 504-520. doi: 10.1002 / sim.3775
  • Edwards, LJ, Müller, KE, Wolfinger, RD, Qaqish, BF & Schabenberger, O. (2008). Eine R2-Statistik für feste Effekte im linearen gemischten Modell. Statistics in Medicine, 27 (29), 6137-6157. doi: 10.1002 / sim.3429

Es scheint jedoch einige Kritik an der Anwendung von Maßnahmen zu geben, wie sie in den oben genannten Dokumenten vorgeschlagen wurden.

Könnte jemand bitte ein paar leicht zu interpretierende Maße für die Passgenauigkeit vorschlagen, die für meine Modelle gelten könnten?

mjburns
quelle
2
Ich mag die Frage, aber Wahrscheinlichkeitsverhältnis - Tests , um festzustellen , ob oder ob nicht festgelegt Effekte benötigt werden , ist nicht die empfohlene Strategie finden Sie in der FAQ . Für den Vergleich von Modellen ist das oben Genannte also nicht in Ordnung.
Henrik
Danke Henrik. Die von Ihnen aufgeführte FAQ ist sehr hilfreich. Es hört sich so an, als ob eine Monte-Carlo-Stichprobe der Markov-Kette eine gute Strategie zum Vergleich meiner Modelle sein könnte.
Mjburns
1
Das Problem mit MCMC ist, dass Sie nur einfache zufällige Effekte haben können (wie in Ihrem Beispiel). Ich würde mit Kenward-Rogers Annäherung an Freiheitsgrade gehen, da dies auch für kompliziertere Modelle gilt. Schauen Sie sich die Funktion mixed()in meinem afex- Paket an ( die Entwicklungsversion hat auch einen parametrischen Bootstrap ). Sehen Sie hier einige Referenzen .
Henrik
Okay, Henrik. Ich habe es geschafft, dass Ihre mixed () - Funktion mit dem afex-Paket funktioniert. Können Sie mir bitte mitteilen, wie ich afex zum Vergleichen von Modellen verwenden kann? Mit welchen Maßnahmen kann ich entscheiden, ob ein Modell plausibler ist als ein anderes? Vielen Dank.
Mjburns
Dies ist nicht einfach zu beantworten, vielleicht stellen Sie eine separate Frage mit weiteren Einzelheiten. Aber nur kurz, afex versucht Ihnen dabei zu helfen, zu beurteilen, ob bestimmte Effekte (oder bessere Modelle einschließlich dieses Effekts) signifikant sind. Zu diesem Zweck wird KRmodcompfrom package verwendet pbkrtest. Sie können KRmodcompModelle auch direkt miteinander vergleichen.
Henrik

Antworten:

3

Es gibt nichts Besseres als ein einfach zu interpretierendes Maß für die Anpassungsgüte für lineare gemischte Modelle :)

Zufallseffekt fit (MOD1) durch gemessen werden , ICCund ICC2(das Verhältnis zwischen der Varianz berücksichtigt durch zufällige Effekte und die Residuenvarianz). Das psychometrische R-Paket enthält eine Funktion, um sie aus einem Objekt zu extrahieren.

Es kann verwendet werden R2, um den festen Effekt (mod2, mod3) zu bewerten, aber dies kann schwierig sein: Wenn zwei Modelle ein ähnliches R2 zeigen, kann es vorkommen, dass eines "genauer" ist, dies jedoch durch seinen festen Faktor maskiert wird. Subtrahieren "einer größeren Varianzkomponente zum Zufallseffekt. Andererseits ist es einfach, ein größeres R2 des Modells höchster Ordnung (z. B. mod3) zu interpretieren. In Baayens Kapitel über gemischte Modelle gibt es eine nette Diskussion darüber. Auch das Tutorial ist sehr übersichtlich.

Eine mögliche Lösung besteht darin, beide variance componentunabhängig voneinander zu betrachten und sie dann zum Vergleichen der Modelle zu verwenden.

ajeje
quelle
1
Können Sie uns sagen, worauf Sie sich beziehen, wenn Sie Baayens Kapitel sagen?
KH Kim
Ja, die Referenz ist kaputt!
Neugierig
Ich habe dieses Zitat gefunden, bin mir nicht sicher, ob es das ist, kann aber das PDF nirgendwo bekommen: BaayenR. H., Analysieren von Sprachdaten: Eine praktische Einführung in die Statistik mit R. Cambridge: Cambridge University Press, 2008. Pp. 368. ISBN-13: 978-0-521-70918-7. - Band 37 Ausgabe 2 - Grzegorz Krajewski, Danielle Matthews
Curious
1
Komm schon Leute. Wo ist dein google-foo? Suchen Sie nach "baayenCUPstats.pdf: first hit: sfs.uni-tuebingen.de/~hbaayen/publications/baayenCUPstats.pdf
DWin