Wie vergleiche ich Modelle auf Basis von AIC?

12

Wir haben zwei Modelle, die dieselbe Methode zur Berechnung der Log-Wahrscheinlichkeit verwenden, und der AIC für eines ist niedriger als das andere. Das mit dem niedrigeren AIC ist jedoch weitaus schwieriger zu interpretieren.

Wir haben Schwierigkeiten zu entscheiden, ob es sich lohnt, die Schwierigkeit einzuführen, und wir haben dies anhand eines prozentualen Unterschieds im AIC beurteilt. Wir stellten fest, dass der Unterschied zwischen den beiden AIC nur 0,7% betrug, während das kompliziertere Modell einen um 0,7% niedrigeren AIC aufwies.

  1. Ist der geringe prozentuale Unterschied zwischen beiden ein guter Grund, das Modell mit dem niedrigeren AIC nicht zu verwenden?

  2. Erklärt der prozentuale Unterschied, dass im weniger komplizierten Modell 0,7% mehr Informationen verloren gehen?

  3. Können die beiden Modelle sehr unterschiedliche Ergebnisse erzielen?

Ali Turab Lotia
quelle
2
@ ArunJose, es scheint kein Duplikat zu sein. Die Fragen hier sind ganz anders.
Richard Hardy
1
Nein. Bei dieser Frage geht es nicht um die Vergleichbarkeit von Modellen. Wir wissen bereits, dass die Modelle vergleichbar sind. Diese Frage bezieht sich auf einen signifikanten Unterschied zwischen AIC und dem Kompromiss zwischen Komplexität und Modellanpassung.
Ali Turab Lotia

Antworten:

24

Ein nicht zu vergleichen , die absoluten Werte von zwei AICs (die wie sein kann aber auch ~ 1000000 ), ist jedoch der Auffassung , ihre Differenz : Δ i = A I C i -1001000000 wobei A I C i ist die AIC des i- ten Modells, und A I C m i n ist der niedrigste AIC, den man unter der Menge der untersuchten Modelle erhält (dh das bevorzugte Modell). Die Faustregel, umrissen zB in

Δi=AICiAICmin,
AICiiAICminBurnham & Anderson 2004 ist:
  1. wenn , gibt es eine wesentliche Unterstützung für das i- te Modell (oder die Beweise dagegen sind nur eine bloße Erwähnung wert), und die Annahme, dass es eine richtige Beschreibung ist, ist sehr wahrscheinlich;Δi<2i
  2. wenn , gibt es eine starke Unterstützung für das i- te Modell;2<Δi<4i
  3. ist , so wird das i- te Modell wesentlich weniger unterstützt ;4<Δi<7i
  4. Modelle mit haben im Wesentlichen keine Unterstützung.Δi>10

Betrachten Sie nun in Bezug auf die in der Frage genannten 0,7% zwei Situationen:

  1. und AAIC1=AICmin=100AIC2AIC2=100.7Δ2=0.7<2
  2. und A IAIC1=AICmin=100000AIC2AIC2=100700Δ2=70010

Die Aussage, dass der Unterschied zwischen AICs 0,7% beträgt, liefert daher keine Informationen.

LΔiΔi=AICiAICminAICmin:=0

Die Formulierung von AIC bestraft die Verwendung einer übermäßigen Anzahl von Parametern, wodurch eine Überanpassung verhindert wird. Es werden Modelle mit weniger Parametern bevorzugt, solange die anderen Modelle keine wesentlich bessere Anpassung liefern. AIC versucht, ein Modell (unter den untersuchten Modellen) auszuwählen, das die Realität am besten beschreibt (in Form der untersuchten Daten). Dies bedeutet, dass das Modell, das eine echte Beschreibung der Daten darstellt, niemals berücksichtigt wird. Beachten Sie, dass AIC gibt Ihnen die Informationen , die Modell beschreibt die Daten besser, es gibt keinerlei Interpretation .

PersönlichΔiΔi<2Δi<5

i

pi=exp(Δi2),

AICminiΔi=1.5pi=0.47Δi=15pi=0.0005iAICmin

Abschließend zur Formel für AIC:

AIC=2k2L,

LΔi2kΔi2Δk<1

TL; DR

  1. Es ist ein schlechter Grund; Verwenden Sie die Differenz zwischen den absoluten Werten der AICs.
  2. Der Prozentsatz sagt nichts.
  3. Diese Frage kann nicht beantwortet werden, da keine Informationen zu den Modellen, Daten und den unterschiedlichen Ergebnissen vorliegen.
corey979
quelle
1
Dies ist die klarste Erklärung, die ich jemals für diese mysteriöse Angelegenheit gesehen habe. Ich habe den Artikel nachgeschlagen, auf den Sie verwiesen haben (S. 270-272), und Ihre Erklärung hier ist eine einfache und klare, aber sehr genaue Darstellung dessen, was der Artikel erklärt.
Tripartio
Könnten Sie vielleicht bei dieser Anschlussfrage helfen? stats.stackexchange.com/questions/349883/…
Tripartio
0

Da alle Modelle falsch sind und einige nützlich sind. Nichts hindert Sie daran, beide Modelle vorzustellen.

Lassen Sie Ihren Leser entscheiden, welches für seine Zwecke nützlicher ist.

Kennzeichen
quelle
Willkommen auf unserer Webseite. Die Leute machen auf diese Bemerkung aufmerksam, weil sie ziemlich am Rande der Sache liegt. Möchten Sie es zu einer Antwort erweitern, die sich mit der Frage befasst, oder möchten Sie sie löschen?
whuber