Asymptotisch entspricht die Minimierung des AIC der Minimierung der ausgelassenen Kreuzvalidierungs-MSE für Querschnittsdaten [ 1 ]. Wenn wir also AIC haben, warum verwendet man überhaupt die Methode der Aufteilung der Daten in Trainings-, Validierungs- und Testsätze, um die Vorhersageeigenschaften von Modellen zu messen? Was genau sind die Vorteile dieser Praxis?
Ich kann mir einen Grund vorstellen: Wenn man die Vorhersageleistungen der Modelle bewerten möchte, ist eine Analyse außerhalb der Stichprobe nützlich. Aber obwohl AIC kein Maß für die Prognose ist die Genauigkeit , hat man in der Regel eine gute Idee , wenn einige Modell ihr maximales Potenzial erreicht (für die Daten eines gegeben ist) in Bezug darauf, wie gut Sie sind Gonna der Lage sein , vorherzusagen.
quelle
Antworten:
In der Praxis verwende ich immer eine Kreuzvalidierung oder einen einfachen Zug-Test-Split anstelle von AIC (oder BIC). Ich bin mit der Theorie hinter AIC nicht allzu vertraut, aber zwei Hauptprobleme veranlassen mich, direktere Schätzungen der Vorhersagegenauigkeit zu bevorzugen:
Die Zahl selbst sagt nicht viel darüber aus, wie genau ein Modell ist. AIC kann nachweisen, welches von mehreren Modellen am genauesten ist, sagt Ihnen jedoch nicht, wie genau das Modell in Einheiten des DV ist. Ich bin fast immer an konkreten Genauigkeitsschätzungen dieser Art interessiert, weil sie mir sagen, wie nützlich ein Modell in absoluten Zahlen ist und wie viel genauer es ist als ein Vergleichsmodell.
AIC benötigt wie BIC für jedes Modell eine Parameteranzahl oder einen anderen Wert, der die Komplexität des Modells misst. Es ist nicht klar, was Sie dafür tun sollten, wenn Sie weniger traditionelle Vorhersagemethoden wie die Klassifizierung der nächsten Nachbarn, zufällige Wälder oder die verrückte neue Ensemble-Methode verwenden, die Sie Mitte des letzten Monats auf eine Cocktailserviette gekritzelt haben. Im Gegensatz dazu können Genauigkeitsschätzungen für jedes Vorhersagemodell auf dieselbe Weise erstellt werden.
quelle