Interpretation des AIC-Wertes

Typische AIC-Werte, die ich für Logistikmodelle gesehen habe, sind Tausende, mindestens Hunderte. zB auf http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ beträgt der AIC 727,39

Während immer gesagt wird, dass AIC nur zum Vergleichen von Modellen verwendet werden sollte, wollte ich verstehen, was ein bestimmter AIC-Wert bedeutet. Gemäß der Formel ist $AIC= -2 \log(L)+ 2K$

Wobei L = maximale Wahrscheinlichkeit vom MLE-Schätzer ist, K die Anzahl der Parameter ist

Im obigen Beispiel ist K = 8

also mit einfacher arithmetik:

727.9 = -2*log(L)+ 2*8
Hence, 711.39 = -2*log(L)
Hence, log (L)= 711.39/-2 = -355.695
Hence, L = exp(-355.695) = 3.3391E-155

Wenn mein Verständnis korrekt ist, ist dies die Wahrscheinlichkeit, dass die von MLE identifizierte Funktion die Daten anpasst. Das scheint wirklich sehr, sehr niedrig zu sein.

Was fehlt mir hier?

Es gibt keine "typische" oder korrekte Wahrscheinlichkeit für ein Modell. Das Gleiche gilt für AIC , dh die negative Log-Wahrscheinlichkeit wird für eine Reihe von Parametern bestraft. Ein niedrigerer Wert des AIC deutet auf ein "besseres" Modell hin, ist jedoch ein relatives Maß für die Modellanpassung. Es wird für die Modellauswahl verwendet, dh Sie können verschiedene Modelle vergleichen, die für denselben Datensatz geschätzt wurden.

Erinnern Sie sich an GEP Box und sagen Sie, dass "alle Modelle falsch sind, aber einige nützlich". Sie sind nicht daran interessiert, ein Modell zu finden, das perfekt zu Ihren Daten passt, da dies unmöglich ist und ein solches Modell in vielen Fällen ein sehr schlechtes, überpassendes Modell wäre . Stattdessen suchen Sie nach dem besten, das Sie bekommen können, dem nützlichsten. Die allgemeine Idee hinter AIC ist, dass ein Modell mit einer geringeren Anzahl von Parametern besser ist, was irgendwie mit Occams Rasiermesser- Argument übereinstimmt , dass wir ein einfaches Modell einem komplizierten vorziehen.

Sie können die folgenden Papiere überprüfen:

Anderson, D. & Burnham, K. (2006). AIC Mythen und Missverständnisse.

Burnham, KP & Anderson, DR (2004). Multimodell-Inferenz. Grundlegendes zu AIC und BIC bei der Modellauswahl. Soziologische Methoden & Forschung, 33 (2), 261 ndash; 304.

und diese Fäden:

Was ist der Unterschied zwischen "Wahrscheinlichkeit" und "Wahrscheinlichkeit"?

Gibt es einen Grund, den AIC oder BIC dem anderen vorzuziehen?

$R^2$$\chi^2$$\chi^{2} - 2\times$$R^2$$1 - \exp(-\chi^{2} / n)$$R^2$$R^2$

Das scheint wirklich sehr, sehr niedrig zu sein. Was fehlt mir hier?

Mengen wie der AIC, bei denen die Log-Wahrscheinlichkeit verwendet wird, sind nur im Verhältnis zu anderen solchen Mengen von Bedeutung . Denken Sie daran, dass die Wahrscheinlichkeitsfunktion nur bis zu einer Skalierungskonstante definiert ist, sodass sie nach Belieben vergrößert oder verkleinert werden kann. Folglich wird die Log-Wahrscheinlichkeit nur bis zu einer Ortskonstante definiert und kann nach Belieben nach oben oder unten verschoben werden. Dies gilt auch für den AIC, da diese Größe nur die Log-Wahrscheinlichkeit ist, die durch eine Strafe für die Anzahl der Parameter verschoben wird. Aus diesem Grund wird gesagt, dass AIC nur zum Vergleichen von Modellen verwendet werden sollte.

$n=800$

$\hat{\ell}/n = -0.4449375$$0.6408643$

Sie haben richtig darauf hingewiesen, dass wenn Sie die Wahrscheinlichkeit unter Verwendung des von R gemeldeten AIC zurückrechnen, Sie lächerlich niedrige Wahrscheinlichkeiten erhalten. Der Grund ist, dass der von R gemeldete Wert von AIC (nennen Sie es AICrep) nicht der wahre AIC (AICtrue) ist. AICrep und AICtrue unterscheiden sich durch eine Konstante, die von den gemessenen Daten abhängt, jedoch unabhängig vom gewählten Modell ist. Daher ist eine von AICrep zurückgerechnete Wahrscheinlichkeit falsch. Es sind die Unterschiede in den AICs, wenn verschiedene Modelle verwendet werden, um dieselben Daten anzupassen, die bei der Auswahl des besten Modells hilfreich sind.