Auswahl nicht verschachtelter Modelle

Sowohl der Likelihood-Ratio-Test als auch der AIC sind Werkzeuge zur Auswahl zwischen zwei Modellen, und beide basieren auf der Log-Likelihood.

Aber warum kann der Likelihood-Ratio-Test nicht verwendet werden, um zwischen zwei nicht verschachtelten Modellen zu wählen, während AIC dies kann?

Der LR-Test (Likelihood Ratio) testet tatsächlich die Hypothese, dass eine bestimmte Teilmenge der Parameter einigen vorgegebenen Werten entspricht. Bei der Modellauswahl bedeutet dies im Allgemeinen (aber nicht immer), dass einige der Parameter gleich Null sind. Wenn die Modelle verschachtelt sind, werden die Parameter im größeren Modell, die sich nicht im kleineren Modell befinden, getestet, wobei die Werte implizit durch den Ausschluss aus dem kleineren Modell angegeben werden. Wenn die Modelle nicht verschachtelt sind, testen Sie dies nicht mehr, da BEIDE Modelle Parameter aufweisen, die sich nicht im anderen Modell befinden, sodass die LR-Teststatistik nicht die asymptotische Verteilung aufweist, die sie (normalerweise) aufweist. tut im verschachtelten Fall.$\chi^2$

AIC wird dagegen nicht für formale Tests verwendet. Es dient zum informellen Vergleich von Modellen mit unterschiedlich vielen Parametern. Der Strafbegriff im Ausdruck für AIC ermöglicht diesen Vergleich. Es werden jedoch keine Annahmen über die funktionale Form der asymptotischen Verteilung der Unterschiede zwischen der AIC zweier nicht verschachtelter Modelle beim Modellvergleich gemacht, und die Differenz zwischen zwei AICs wird nicht als Teststatistik behandelt.

Ich füge hinzu, dass es einige Meinungsverschiedenheiten über die Verwendung von AIC mit nicht verschachtelten Modellen gibt, da die Theorie für verschachtelte Modelle ausgearbeitet wurde. Daher meine Betonung auf "nicht ... formal" und "nicht ... Teststatistik". Ich verwende es für nicht verschachtelte Modelle, aber nicht auf schnelle Weise, sondern als wichtigen, aber nicht alleinigen Input für den Modellbildungsprozess.

Die Ableitung von AIC als Schätzer des Kullback-Leibler-Informationsverlusts lässt keine Annahme zu, dass Modelle verschachtelt sind.