Wie sollen Mixed-Effects-Modelle verglichen und / oder validiert werden?

22

Wie werden (lineare) Mischeffektmodelle normalerweise miteinander verglichen? Ich weiß, dass Likelihood-Ratio-Tests verwendet werden können, aber dies funktioniert nicht, wenn ein Modell nicht die richtige Teilmenge des anderen Modells ist.

Ist die Schätzung der Modelle df immer einfach? Anzahl der Fixeffekte + Anzahl der geschätzten Varianzkomponenten? Ignorieren wir die Schätzungen für zufällige Effekte?

Was ist mit der Validierung? Mein erster Gedanke ist die Kreuzvalidierung, aber zufällige Falten funktionieren aufgrund der Struktur der Daten möglicherweise nicht. Ist eine Methodik zum Auslassen eines Themas / Clusters angemessen? Was ist mit einer Beobachtung auslassen?

Mallows Cp kann als Schätzung des Vorhersagefehlers des Modells interpretiert werden. Die Modellauswahl über AIC versucht, den Vorhersagefehler zu minimieren (also sollten Cp und AIC dasselbe Modell auswählen, wenn die Fehler meiner Meinung nach Gauß'sch sind). Bedeutet dies, dass AIC oder Cp verwendet werden können, um ein "optimales" lineares Mischeffektmodell aus einer Sammlung nicht verschachtelter Modelle im Hinblick auf Vorhersagefehler auszuwählen? (vorausgesetzt, sie stimmen mit denselben Daten überein) Wählt BIC immer noch eher das „wahre“ Modell unter den Kandidaten aus?

Ich habe auch den Eindruck, dass wir beim Vergleich von Mischeffektmodellen über AIC oder BIC nur die festen Effekte als 'Parameter' in die Berechnung einbeziehen, nicht die tatsächlichen Modelle df.

Gibt es gute Literatur zu diesen Themen? Lohnt es sich, cAIC oder mAIC zu untersuchen? Haben sie eine spezifische Anwendung außerhalb von AIC?

dcl
quelle
2
Was meinen Sie mit der Anwendung von cAIC oder mAIC "außerhalb von AIC"? DIC ist ein weit verbreitetes Maß für die Vorhersagegenauigkeit, das Sie untersuchen können und das versucht, durch die "effektive" Anzahl der im Mehrebenenmodell enthaltenen Parameter zu benachteiligen.
Gast
@guest Ich meine, haben sie eine spezifische Verwendung, zum Beispiel für bestimmte Modelltypen? Ich werde DIC überprüfen. Vielen Dank.
dcl

Antworten:

12

Das Hauptproblem bei der Modellauswahl in gemischten Modellen besteht darin, die Freiheitsgrade (df) eines Modells wirklich zu definieren. Um df eines gemischten Modells zu berechnen, muss die Anzahl der geschätzten Parameter einschließlich fester und zufälliger Effekte definiert werden. Und das ist nicht einfach. Dieses Papier von Jiming Jiang und anderen (2008) mit dem Titel "Zaunmethoden für gemischte Modellauswahl" könnte in solchen Situationen angewendet werden. Eine neue verwandte Arbeit ist dies ein von Greven, S. & Kneib, T. (2010) mit dem Titel „Auf dem Verhalten von Rande und bedingter AIC in linearen gemischten Modellen“. Hoffe das könnte hilfreich sein.

hbaghishani
quelle
Ich werde diese Papiere überprüfen. Prost.
dcl
6

Eine Möglichkeit zum Vergleichen von Modellen (unabhängig davon, ob sie gemischt sind oder nicht) besteht darin, die Ergebnisse zu zeichnen. Angenommen, Sie haben Modell A und Modell B; daraus die angepassten Werte erstellen und in einem Streudiagramm gegeneinander grafisch darstellen. Wenn die Werte sehr ähnlich sind (basierend auf Ihrer Einschätzung, ob dies der Fall ist), wählen Sie das einfachere Modell. Eine andere Idee ist, die Unterschiede zwischen den angepassten Werten zu finden und diese gegen die unabhängigen Werte grafisch darzustellen. Sie können auch ein Dichtediagramm der Unterschiede erstellen. Im Allgemeinen bin ich ein Befürworter, keine statistischen Tests zum Vergleichen von Modellen zu verwenden (obwohl AIC und seine Varianten sicherlich Vorteile haben), sondern eher ein Urteilsvermögen zu verwenden. Dies hat natürlich den (Nachteil), keine genauen Antworten zu geben.

Peter Flom - Wiedereinsetzung von Monica
quelle
Was Sie beschreiben, ist nur, Modelle zu vergleichen, wenn das Hauptziel ihre Vorhersagefähigkeit ist. Darüber hinaus können grafische Ergebnisse sehr informativ sein, um zu bestimmen, welche Modelle nützlich sein können. Im Allgemeinen handelt es sich jedoch nicht um vollständig formale wissenschaftliche Ergebnisse.
Hbaghishani
2
Hi @hbaghishani; Ich zitiere nur Tukey: "Viel besser eine ungefähre Antwort auf die richtige Frage, die oft vage ist, als eine genaue Antwort auf die falsche Frage, die immer präzise formuliert werden kann." :-). Es ist hier nicht ganz apropos, aber es ist zumindest teilweise am Ziel
Peter Flom - Reinstate Monica
1
Ich mache in der Regel Handlungen, wie Sie sie beim Modellbau beschreiben. Aber ich suchte tatsächlich nach einer "mathematischeren" Methode. Prost
dcl
Wenn ich verschiedene Modelle auf der Grundlage der Vorhersageleistung vergleiche, gehe ich davon aus, dass die Vorhersagewerte für gemischte Modelle mit und ohne Zufallseffekte identisch sein sollten (dh Regressionskoeffizienten werden in Modellen mit und ohne Zufallseffekte unverzerrt sein, nur die Standardfehler ändern sich).
RobertF