Ist es möglich, dass der AIC und der BIC eine völlig unterschiedliche Modellauswahl bieten?

Ich führe ein Poisson-Regressionsmodell mit 1 Antwortvariablen und 6 Kovariaten durch. Die Modellauswahl mit AIC ergibt ein Modell mit allen Kovariaten sowie 6 Interaktionstermen. Der BIC führt jedoch zu einem Modell mit nur 2 Kovariaten und keinen Interaktionstermen. Ist es möglich, dass die beiden Kriterien, die sehr ähnlich aussehen, völlig unterschiedliche Modellauswahlen ergeben?

model-selection aic poisson-regression bic WBM
quelle

Wenn es nicht möglich wäre, unterschiedliche Modellempfehlungen aus den beiden Metriken zu erhalten, gäbe es keine zwei Metriken, wir würden nur immer eine verwenden.

Gregor - setzt Monica

Das Wort "völlig anders" ist schwer zu interpretieren, wenn Modelle das Ergebnis der Auswahl aus einer Reihe diskreter Parameter sind.

BallpointBen

Antworten:

Das ist in der Tat möglich. Wie unter https://methodology.psu.edu/AIC-vs-BIC erläutert , "bestraft BIC die Modellkomplexität stärker. Die einzige Möglichkeit, mit der sie nicht einverstanden sind, besteht darin, dass AIC ein größeres Modell als BIC auswählt."

Wenn Sie ein gutes Vorhersagemodell ermitteln möchten, sollten Sie den AIC verwenden. Wenn Sie ein gutes Erklärungsmodell finden möchten, sollten Sie den BIC verwenden. Rob Hyndman fasst diese Empfehlung unter
https://robjhyndman.com/hyndsight/to-explain-or-predict/ zusammen :

"Der AIC eignet sich besser für die Modellauswahl zur Vorhersage, da er asymptotisch einer ausbleibenden Kreuzvalidierung in der Regression oder einer Ein-Schritt-Kreuzvalidierung in Zeitreihen entspricht. Andererseits könnte dies argumentiert werden Der BIC ist für die Modellauswahl zur Erklärung besser geeignet, da er konsistent ist. "

Die Empfehlung stammt aus dem Artikel von Galit Shmueli „Zur Erklärung oder Vorhersage?“, Statistical Science, 25 (3), 289-310 ( https://projecteuclid.org/euclid.ss/1294167961 ).

Nachtrag:

Es gibt eine dritte Art der Modellierung - die deskriptive Modellierung - aber ich kenne keine Referenzen, bei denen AIC oder BIC am besten zur Identifizierung eines optimalen deskriptiven Modells geeignet sind. Ich hoffe, dass andere hier ihre Einsichten einbringen können.

Isabella Ghement
quelle

„ Sie sollten sich nur widersprechen, wenn AIC ein größeres Modell als BIC auswählt. ”Technisch könnte BIC ein größeres Modell wählen, wenn

\ln n < 2

$\ln n < 2$ dh

n \leq 7

$n \le 7$ . Wir hoffen, dass Samples der Größe 7 kein allzu großes Problem darstellen. : p

Dougal

Guter Punkt! Bei einer Stichprobengröße von 7 oder weniger würde ich mir vorstellen, dass die Modellauswahl vom Tisch ist. 😀

Isabella Ghement

Subhash C. Davar

@ subhashc.davar: Noch keine Antwort - ich bin versucht, Galit Shmueli eine E-Mail zu schicken und sie nach ihren Gedanken dazu zu fragen.

Isabella Ghement

Wenn wir die Bedeutung von "beschreibend" verstehen und ernst nehmen, bin ich mir nicht sicher, ob es Sinn macht, über die Identifizierung des optimalen Beschreibungsmodells zu sprechen.

gung - Wiedereinsetzung von Monica

Kurze Antwort: Ja, das ist sehr gut möglich. Die beiden wenden unterschiedliche Strafen an, basierend auf der Anzahl der geschätzten Parameter (2k für AIC vs ln (n) xk für BIC, wobei k die Anzahl der geschätzten Parameter und n die Stichprobengröße ist). Wenn der Wahrscheinlichkeitsgewinn durch Hinzufügen eines Parameters gering ist, kann der BIC verschiedene Modelle für den AIC auswählen. Dieser Effekt ist jedoch abhängig von der Stichprobengröße.

NatWH
quelle

wäre schön zu

sagen