Unterschiedliche AIC-Definitionen

12

Aus Wikipedia gibt es eine Definition von Akaikes Informationskriterium (AIC) als , wobei die Anzahl der Parameter und die log-Wahrscheinlichkeit des Modells ist. $AIC = 2k -2 \log L$ $k$ $\log L$

Unsere Ökonometrie stellt jedoch an einer angesehenen Universität fest, dass . Hier ist die geschätzte Varianz für die Fehler in einem ARMA-Modell und die Anzahl der Beobachtungen im Zeitreihendatensatz. $AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T}$ $\hat{\sigma}^2$ $T$

Ist die letztere Definition gleichbedeutend mit der ersten, aber einfach auf ARMA-Modelle abgestimmt? Oder gibt es einen Konflikt zwischen den beiden Definitionen?

econometrics aic arma information-theory pir
quelle

3

Für die Aufzeichnung: Kriterium Singular, Plural. (Entsprechend bearbeitet.)

Nick Cox

15

Die Formel, die Sie aus Ihren Notizen zitieren, ist nicht genau AIC.

AIC ist . $-2\log\mathcal{L}+2k$

Hier werde ich eine ungefähre Ableitung skizzieren, die klar genug macht, was los ist.

Wenn Sie ein Modell mit unabhängigen normalen Fehlern mit konstanter Varianz haben,

L \propto σ^{- n} e^{- \frac{1}{2 σ^{2}} \sum ε_{ich}^{2}}

$\mathcal{L}\propto \sigma^{-n} \: e^{-\frac{1}{2\sigma^2}\sum \varepsilon_i^2}$

die unter maximaler Wahrscheinlichkeit geschätzt werden kann als

\begin{array}{rcl} \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n {\hat{σ}}^{2} / {\hat{σ}}^{2}} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} e^{- \frac{1}{2} n} \\ \propto & ({\hat{σ}}^{2})^{- n / 2} \end{array}

$\begin{eqnarray} & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n\hat{\sigma}^2/\hat{\sigma}^2}\\ & \propto &(\hat{\sigma}^2)^{-n/2} e^{-\frac12 n}\\ & \propto &(\hat{\sigma}^2)^{-n/2} \end{eqnarray}$

(Unter der Annahme, dass die Schätzung von die ML-Schätzung ist) $\sigma^2$

So (bis durch eine Konstante zu verschieben) $-2\log\mathcal{L} +2k = n\log{\hat{\sigma}^2} + 2k$

Wenn nun im ARMA-Modell im Vergleich zu und wirklich groß ist, kann die Wahrscheinlichkeit durch ein solches Gauß-Gerüst angenähert werden (z. B. können Sie den ARMA ungefähr als einen längeren AR und eine Bedingung mit genügend Bedingungen schreiben, um diesen AR zu schreiben als Regressionsmodell), also mit anstelle von : $T$ $p$ $q$ $T$ $n$

$AIC \approx T\log{\hat{\sigma}^2} + 2k$

daher

$AIC/T \approx \log{\hat{\sigma}^2} + 2k/T$

Wenn Sie nun einfach AICs vergleichen , spielt diese Division durch keine Rolle, da sie die Reihenfolge der AIC-Werte nicht ändert. $T$

Wenn Sie AIC jedoch für einen anderen Zweck verwenden, der sich auf den tatsächlichen Wert der Unterschiede in AIC stützt (z. B. für die von Burnham und Anderson beschriebene Multimodell-Inferenz), ist dies von Bedeutung.

Zahlreiche ökonometrische Texte scheinen diese AIC / T-Form zu verwenden. Seltsamerweise scheinen einige Bücher auf Hurvich und Tsai 1989 oder Findley 1985 für diese Form Bezug zu nehmen, aber Hurvich & Tsai und Findley scheinen die ursprüngliche Form zu diskutieren (obwohl ich nur einen indirekten Hinweis darauf habe, was Findley gerade tut, also gibt es vielleicht einen etwas in Findley drauf).

Eine solche Skalierung kann aus einer Vielzahl von Gründen erfolgen - zum Beispiel können Zeitreihen, insbesondere Hochfrequenz-Zeitreihen, sehr lang sein und gewöhnliche AICs können dazu neigen, unhandlich zu werden, insbesondere wenn sehr klein ist. (Es gibt einige andere mögliche Gründe, aber da ich den Grund dafür wirklich nicht kenne, gehe ich nicht alle möglichen Gründe durch.) $\sigma^2$

Vielleicht möchten Sie sich Rob Hyndmans Liste der Fakten und Irrtümer des AIC ansehen , insbesondere die Punkte 3 bis 7. Einige dieser Punkte könnten dazu führen, dass Sie zumindest ein wenig vorsichtig sind, wenn Sie sich zu stark auf die Annäherung nach der Gaußschen Wahrscheinlichkeit verlassen, aber Vielleicht gibt es eine bessere Rechtfertigung, als ich hier anbiete.

Ich bin mir nicht sicher, ob es einen guten Grund gibt, diese Annäherung an die Log-Wahrscheinlichkeit anstelle des tatsächlichen AIC zu verwenden, da heutzutage viele Zeitreihenpakete dazu neigen, die tatsächliche Log-Wahrscheinlichkeit für ARMA-Modelle zu berechnen (/ maximieren). Es scheint wenig Grund zu geben, es nicht zu benutzen.

Glen_b - Setzen Sie Monica wieder ein
quelle

1

Früher oder später wird jede Diskussion über ein * IC zu "Dies ist das Kriterium, das Sie verwenden sollten, mit der Ausnahme, dass es unter solchen Umständen oft die falsche Antwort gibt". Nur ironisch zu sein, überhaupt nicht kritisch gegenüber einer typisch hilfreichen Antwort. Dies ist genau wie im echten Leben, wo eine generische Maxime wie "Liebe alle" normalerweise vorübergehend durch andere Ratschläge außer Kraft gesetzt wird, wenn jemand versucht, Sie zu schlagen oder abzureißen.

Nick Cox

1

n

$n$

2

Ich glaube, dass dies auf der Annahme normaler Fehler beruht. In der Ökonometrie arbeiten Sie mit Asymptotik, insbesondere in Zeitreihenanwendungen mit AIC. Folglich sollte die normale Annahme asymptotisch gelten, um dieses (asymptotische) Modellauswahlschema zu rechtfertigen.

$ln(L) = -(T/2)ln(2\pi) -(T/2)ln(\sigma^2) - (1/2\sigma^2)\sum(x_i - \mu)$ $\mathbb{E}(X) = \mu$ $Var(X) = \sigma^2$ $x_1, ..., x_T$

$L$ $Tln(\sigma^2)$ $(1/\sigma^2)(T\hat{\sigma}^2)$ $\hat{\sigma}^2 = T^{-1} \sum(x_i - \bar{x})$ $\sigma^2$ $(1/\sigma^2)(T\hat{\sigma}^2) = (1/\hat{\sigma}^2)(T\hat{\sigma}^2)$

$AIC = 2k + Tln(\sigma^2) + 1$ $1$ $T$ $T$ $AIC$ $AIC/T$

Jeremias K
quelle

Unterschiedliche AIC-Definitionen

Antworten: