Hosmer-Lemeshow gegen AIC wegen logistischer Regression

Wenn die Hosmer-Lemeshow einen Mangel an Passform anzeigt, aber der AIC unter allen Modellen der niedrigste ist ... sollten Sie das Modell weiterhin verwenden?

Wenn ich eine Variable lösche, ist die Hosmer-Lemeshow-Statistik nicht signifikant (was bedeutet, dass es keinen groben Fitmangel gibt). Aber der AIC steigt.

Edit : Ich denke im Allgemeinen, wenn die AICs verschiedener Modelle nahe beieinander liegen (dh ), dann sind sie im Grunde gleich. Aber die AICs sind sehr unterschiedlich. Dies scheint darauf hinzudeuten, dass derjenige mit dem niedrigsten AIC derjenige ist, den ich verwenden sollte, obwohl der Hosmer-Lemeshow-Test etwas anderes anzeigt. $<2$

Vielleicht gilt der HL-Test auch nur für große Proben? Es hat eine geringe Leistung für kleine Stichprobengrößen (meine Stichprobengröße beträgt ~ 300). Aber wenn ich ein signifikantes Ergebnis erhalte ... Das bedeutet, dass ich selbst bei geringer Leistung eine Ablehnung bekomme.

Würde es einen Unterschied machen, wenn ich AICc im Vergleich zu AIC verwende? Wie bekommt man AICc's in SAS? Ich weiß, dass es Probleme mit der Vielfalt geben könnte. Aber a priori gehe ich davon aus, dass die Variablen einen Einfluss auf das Ergebnis haben.

Irgendwelche Kommentare?

Edit2 : Ich denke, ich sollte das Modell mit einer Variablen weniger und dem höheren AIC mit nicht signifikantem HL verwenden. Der Grund ist, dass zwei der Variablen miteinander korreliert sind. Es macht also Sinn, einen loszuwerden.

regression logistic hosmer-lemeshow-test Thomas
quelle

Beachten Sie, dass alle Ihre Modelle möglicherweise Junk sind.

@mbq: Wie hilft das?

Thomas

Nun, selbst in einer Gruppe nicht signifikanter Modelle gibt es eines mit dem besten AIC. Bitte verwenden Sie keine Antworten, um Ihre Frage zu erweitern.

Antworten:

Der Hosmer-Lemeshow-Test ist zu einem gewissen Grad veraltet, da er eine willkürliche Einteilung der vorhergesagten Wahrscheinlichkeiten erfordert und keine ausgezeichnete Fähigkeit besitzt, einen Mangel an Kalibrierung festzustellen. Außerdem wird eine extreme Überanpassung des Modells nicht gänzlich bestraft. Bessere Methoden wie Hosmer, DW; Hosmer, T .; le Cessie, S. & Lemeshow, S. Ein Vergleich von Anpassungstests für das logistische Regressionsmodell. Statistics in Medicine , 1997, 16 , 965-980. Ihre neue Maßnahme ist im R umgesetztrmsPaket. Noch wichtiger ist, dass diese Art der Bewertung nur die allgemeine Modellkalibrierung (Übereinstimmung zwischen vorhergesagtem und beobachtetem Wert) und nicht den Mangel an Passung wie die unsachgemäße Transformation eines Prädiktors berücksichtigt. AIC wird auch nicht verwendet, es sei denn, Sie verwenden AIC, um zwei Modelle zu vergleichen, bei denen eines flexibler ist als das andere, das getestet wird. Ich denke, Sie interessieren sich für prädiktive Diskriminierung, für die ein verallgemeinertes $R^2$ $c$

Frank Harrell
quelle

Wäre es also besser, den Likelihood-Ratio-Test zur Beurteilung der Anpassungsgüte des Modells mit dem niedrigsten AIC zu verwenden? Denn dieser Test zeigt, dass es nicht an Passform mangelt.

Thomas

Betrachtet man AICs von mehr als 2 Modellen, ergibt sich eine gewisse Auswahlverzerrung / Überanpassung. AIC bewertet die Anpassungsgüte nur in dem von mir oben angegebenen Kontext. Die beste Methode zur Beurteilung der Anpassung besteht darin, eine gute Kalibrierung mithilfe einer kontinuierlichen, glatten, nichtparametrischen Kalibrierungskurve nachzuweisen und nur wenige Hinweise auf komplexere Komponenten zu geben, die das Modell möglicherweise besser vorhersagen ließen.

Frank Harrell

Vorausgesetzt, ich habe keinen Zugriff auf eines dieser Tools. Modell A, das einen nicht signifikanten HL-Test aufweist, weist auch eine Variable weniger auf als Modell B, das einen signifikanten HL-Test aufweist. Ich vergleiche nur diese beiden Modelle. Modell A hat den niedrigsten AIC und Modell B hat einen viel höheren AIC.

Thomas

Ich meinte, Modell B hat den niedrigsten AIC und Modell A hat einen viel höheren AIC.

Thomas

rms

P

$P$ -Werte zur Auswahl von Variablen. Wenn Sie nur 2 vordefinierte Modelle vergleichen, sind Sie in Ordnung.

Frank Harrell