Kann AIC zwischen verschiedenen Modelltypen vergleichen?

27

Ich verwende AIC (Akaikes Informationskriterium), um nichtlineare Modelle in R zu vergleichen. Ist es gültig, die AICs verschiedener Modelltypen zu vergleichen? Insbesondere vergleiche ich ein von glm angepasstes Modell mit einem von glmer (lme4) angepassten Ausdruck für zufällige Effekte.

Wenn nein, gibt es eine Möglichkeit, einen solchen Vergleich durchzuführen? Oder ist die Idee völlig ungültig?

Thomas K
quelle

Antworten:

12

Es hängt davon ab, ob. AIC ist eine Funktion der Log-Wahrscheinlichkeit. Wenn beide Modelltypen die Protokollwahrscheinlichkeit auf dieselbe Weise berechnen (dh dieselbe Konstante einschließen), können Sie dies, wenn die Modelle verschachtelt sind .

Ich bin mir ziemlich sicher glm()und lmer()verwende keine vergleichbaren Log-Wahrscheinlichkeiten.

Der Punkt über verschachtelte Modelle steht ebenfalls zur Diskussion. Einige sagen, AIC sei nur für verschachtelte Modelle gültig, da auf diese Weise die Theorie präsentiert / ausgearbeitet wird. Andere verwenden es für alle Arten von Vergleichen.

Setzen Sie Monica - G. Simpson wieder ein
quelle
Ich verstehe, dass lme4 standardmäßig REML verwendet, wobei glm ML verwendet. Sie könnten vergleichbar sein, wenn Sie ML durch Setzen von REML = FALSE verwenden würden.
Russellpierce
Zusätzlich zu Gavins Kommentar hängt es auch davon ab, was Sie mit dem Modell machen möchten. Ist das Modell für die Vorhersage oder sucht Thomas Sparsamkeit? (Ich denke)
Suncoolsu
3
@drnexus: Ich halte das nicht für ausreichend; Sie müssen sicherstellen, dass bei der Berechnung der Log-Wahrscheinlichkeit dieselbe Normalisierungskonstante angewendet wird.
Setzen Sie Monica - G. Simpson
2
@Thomas: Dazu musst du dir den Code ansehen oder mit der Person sprechen, die ihn geschrieben hat, um sicherzugehen. Im Allgemeinen wird davon ausgegangen, dass die Wahrscheinlichkeiten für verschiedene Software / Pakete / Funktionen nicht vergleichbar sind.
Setzen Sie Monica - G. Simpson
1
@ user3490 Hängt von der Software und dem Algorithmus ab, der zum Abrufen der Schätzungen verwendet wird. Im Allgemeinen würde ich davon ausgehen, dass sie nicht gleich waren, es sei denn, ich wusste mit Sicherheit, dass sie es waren.
Setzen Sie Monica - G. Simpson
4

Das ist eine großartige Frage, auf die ich mich schon eine Weile gefreut habe.

Für Modelle derselben Familie (dh autoregressive Modelle der Ordnung k oder Polynome) ist AIC / BIC sehr sinnvoll. In anderen Fällen ist es weniger klar. Die genaue Berechnung der Log-Wahrscheinlichkeit (mit den konstanten Termen) sollte funktionieren, aber ein komplizierterer Modellvergleich wie Bayes-Faktoren ist wahrscheinlich besser (http://www.jstor.org/stable/2291091).

Wenn die Modelle dieselbe Verlust- / Fehlerfunktion haben, besteht eine Alternative darin, nur die kreuzvalidierten Log-Wahrscheinlichkeiten zu vergleichen. Das ist normalerweise das, was ich versuche, wenn ich nicht sicher bin, ob AIC / BIC in einer bestimmten Situation Sinn macht.

IanS
quelle
0

Beachten Sie, dass AIC in einigen Fällen nicht einmal Modelle desselben Typs vergleichen kann, wie z. B. ARIMA-Modelle mit einer anderen Differenzierungsreihenfolge. Zitat Vorhersage: Grundsätze und Praxis von Rob J Hyndman und George Athanasopoulos:

Es ist wichtig anzumerken, dass diese Informationskriterien keine guten Anhaltspunkte für die Auswahl der geeigneten Differenzierungsreihenfolge ( ) eines Modells sind, sondern nur für die Auswahl der Werte von und . Dies liegt daran, dass durch die Differenzierung die Daten geändert werden, für die die Wahrscheinlichkeit berechnet wird, sodass die AIC-Werte zwischen Modellen mit unterschiedlicher Differenzierungsreihenfolge nicht vergleichbar sind. Wir müssen also einen anderen Ansatz verwenden, um zu wählen , und dann können wir mit dem AICc und auswählen .dpqdpq

nalzok
quelle
Ein entscheidender Punkt ist jedoch, dass es nicht die Art des Modells ist, die den Vergleich problematisch macht, sondern die Daten, für die die Wahrscheinlichkeit definiert wird.
Richard Hardy