Pooling von Kalibrierungsplots nach mehrfacher Imputation

15

Ich möchte Ratschläge zum Zusammenfassen der Kalibrierungsdiagramme / -statistiken nach mehrfacher Imputation. Bei der Entwicklung statistischer Modelle zur Vorhersage eines zukünftigen Ereignisses (z. B. Verwendung von Daten aus Krankenhausakten zur Vorhersage des Überlebens oder von Ereignissen nach der Entlassung aus dem Krankenhaus) kann man sich vorstellen, dass einige zu viele Informationen fehlen. Multiple Imputation ist eine Möglichkeit, mit einer solchen Situation umzugehen, führt jedoch dazu, dass die Teststatistiken aus jedem Imputationsdatensatz unter Berücksichtigung der zusätzlichen Variabilität aufgrund der inhärenten Unsicherheit der Imputation zusammengefasst werden müssen.

Ich verstehe, dass es mehrere Kalibrierungsstatistiken gibt (Hosmer-Lemeshow, Harrell's Emax, geschätzter Kalibrierungsindex usw.), für die die "normalen" Rubins-Regeln für das Pooling gelten könnten.

Bei diesen Statistiken handelt es sich jedoch häufig um allgemeine Kalibrierungsmaße, bei denen keine spezifischen fehlkalibrierten Bereiche des Modells angezeigt werden. Aus diesem Grund schaue ich mir lieber ein Kalibrierungsdiagramm an. Leider habe ich keine Ahnung, wie ich die Diagramme oder die Daten dahinter "bündeln" soll (vorhergesagte Wahrscheinlichkeiten pro Person und beobachteter Ausgang pro Person), und kann in der biomedizinischen Literatur (dem mir bekannten Gebiet) nicht viel finden. oder hier bei CrossValidated. Ein Blick auf das Kalibrierungsdiagramm jedes Imputationsdatensatzes könnte natürlich eine Antwort sein, aber bei der Erstellung einer Vielzahl von Imputationssätzen (derzeit) ziemlich lästig werden.

Ich möchte daher fragen, ob es Techniken gibt, die zu einem Kalibrierungsdiagramm führen, das nach mehrfacher Imputation zusammengefasst wird (?)

data-visualization data-imputation multiple-imputation pooling calibration IWS
quelle
Ist es möglich, die Bootstrap-Proben direkt zu bündeln und die Kalibrierung dieser Probe auszuwerten?
AdamO
@AdamO was genau meinst du mit direktem Pooling? Und auf welche Bootstrap-Beispiele beziehen Sie sich?
IWS
2
Entschuldigung, lassen Sie mich zurück, (ich denke an MI als Bootstrap). Ich sage, wenn Ihr n 1.000 ist und Sie 5 MI-Datensätze haben, warum nicht ein einzelnes Kalibrierungsdiagramm aus den 5000 erstellen und die beobachteten / erwarteten Werte in der von Ihnen gewünschten Weise in diesen 5.000 vergleichen?
AdamO
@AdamO Klingt interessant, es müssten jedoch Funktionen angepasst werden, die auch ein Konfidenzintervall liefern. Irgendwelche Referenzen oder Theorien, die diese Idee stützen?
IWS
2
Keine Referenzen, wir haben kürzlich eine Veröffentlichung veröffentlicht, in der wir ohne Beweis angegeben haben, dass wir durch Zusammenfassen dieser Informationen Rückschlüsse auf Bootstrap-Standardfehler und Mehrfachzuschreibungen erhalten haben. Ich denke, Sie können sagen, dass der Zweck der Analyse darin besteht, auf dem 0,05-Niveau zu testen, dass das Erwartungs- / Beobachtungsverhältnis oder die Differenz innerhalb eines normalen Verteilungsbereichs liegt und dass die Quantilschätzungen nicht von der Stichprobengröße abhängen. Daher basiert der Test auf dem 95% -KI ist nicht vom Pooling betroffen.
AdamO

Antworten:

1

[...] Wenn Ihr n 1.000 ist und Sie 5 MI-Datensätze haben, warum nicht ein einzelnes Kalibrierungsdiagramm aus den 5000 erstellen und die beobachteten / erwarteten Werte in der von Ihnen gewünschten Weise in diesen 5.000 vergleichen?

Zu Referenzen:

Keine Referenzen, wir haben kürzlich eine Veröffentlichung veröffentlicht, in der wir ohne Beweis angegeben haben, dass wir durch Zusammenfassen dieser Informationen Rückschlüsse auf Bootstrap-Standardfehler und Mehrfachzuschreibungen erhalten haben. Ich denke, Sie können sagen, dass der Zweck der Analyse darin besteht, auf dem 0,05-Niveau zu testen, dass das Erwartungs- / Beobachtungsverhältnis oder die Differenz innerhalb eines normalen Verteilungsbereichs liegt und dass die Quantilschätzungen nicht von der Stichprobengröße abhängen. Daher basiert der Test auf dem 95% -KI ist nicht vom Pooling betroffen.

mkt - Setzen Sie Monica wieder ein
quelle
1
Ich habe diesen Kommentar von @AdamO als Community-Wiki-Antwort kopiert, da der Kommentar mehr oder weniger eine Antwort auf diese Frage ist. Wir haben eine dramatische Kluft zwischen Antworten und Fragen. Zumindest besteht ein Teil des Problems darin, dass einige Fragen in Kommentaren beantwortet werden: Wenn Kommentare, die die Frage beantworteten, Antworten wären, hätten wir weniger unbeantwortete Fragen.
mkt - Setzen Sie Monica