Verwenden des Befehls drop1 in R und AIC

7

Bei Verwendung des Befehls drop1 in R für die Modellbildung muss die Variable mit dem niedrigsten AIC-Wert gelöscht werden. Was könnte der Grund dafür sein? Ich weiß, dass AIC über Informationsverlust spricht und ein niedrigerer AIC-Wert besser ist, aber das Löschen einer Variablen mit niedrigem AIC scheint nicht intuitiv zu sein. Kann jemand bitte den Grund dafür erklären?

r regression aic Jash Shah
quelle
2
Überprüfen Sie stats.stackexchange.com/questions/20836/…
Tim

Antworten:

8

Der angegebene AIC von drop1bezieht sich auf das gesamte Modell - nicht auf eine Variable. Die Ausgabe gibt daher an, welche Variable entfernt werden muss, um das Modell mit dem niedrigsten AIC zu erhalten. Zum Beispiel mit dem eingebauten Datensatzswiss

lm1 <- lm(Fertility ~ ., data = swiss)
drop1(lm1, test = "F")  # So called 'type II' anova

Single term deletions

Model:
Fertility ~ Agriculture + Examination + Education + Catholic + 
    Infant.Mortality
                 Df Sum of Sq    RSS    AIC F value    Pr(>F)    
<none>                        2105.0 190.69                      
Agriculture       1    307.72 2412.8 195.10  5.9934  0.018727 *  
Examination       1     53.03 2158.1 189.86  1.0328  0.315462    
Education         1   1162.56 3267.6 209.36 22.6432 2.431e-05 ***
Catholic          1    447.71 2552.8 197.75  8.7200  0.005190 ** 
Infant.Mortality  1    408.75 2513.8 197.03  7.9612  0.007336 ** 
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Hier Examinationergibt das Entfernen von das Modell mit dem niedrigsten AIC

In einem verwandten Punkt ist es zwar besser, AIC als p-Werte zu verwenden, es wird jedoch als schlechte Praxis angesehen, automatische Modellauswahlalgorithmen zu verwenden: Algorithmen für die automatische Modellauswahl

Robert Long
quelle
1
Wenn Sie jeweils nur eine Variable betrachten, entspricht die Verwendung von AIC der Festlegung eines p-Wert-
Grenzwerts
@Glen_b Interessant! Ich nehme an, dass dies ein asymptotisches Ergebnis ist, das auf dem Chi-Quadrat-Verteilungsschwanz basiert. Dann sind die Verwendung von p-Werten und AIC für große Stichproben genauso schlecht! ?
Robert Long
1
Ja, ein asymptotisches Chi-Quadrat-Ergebnis (wenn Sie R verwenden, ist es pchisq(2,1,lower.tail=FALSE)); es entspricht einem zweiseitigen z-Test-p-Wert ( pnorm(sqrt(2),lower.tail=FALSE)*2), und wenn die df nicht ziemlich klein sind, nähert es sich auch einem t-Test- oder F-Test-p-Wert-Cutoff (über 40 df sind es 16%) sehr nahe auf das nächste ganze Prozent für jeden df)
Glen_b -State Monica