Modellmittelungsansatz - Mittelungskoeffizientenschätzungen im Vergleich zu Modellvorhersagen?

9

Ich habe eine grundlegende Frage zu Ansätzen zur Modellmittelung unter Verwendung von IT-Kriterien zur Gewichtung von Modellen innerhalb eines Kandidatensatzes.

Die meisten Quellen, die ich zur Modellmittelung gelesen habe, befürworten die Mittelung der Parameterkoeffizientenschätzungen auf der Grundlage der Modellgewichte (entweder unter Verwendung eines "natürlichen Durchschnitts" oder einer "Null-Durchschnitt" -Methode). Ich hatte jedoch den Eindruck, dass die Mittelung und Gewichtung der Vorhersagen jedes Modells anstelle der Parameterkoeffizientenschätzungen auf der Grundlage der Modellgewichte ein einfacherer und gerechtfertigterer Ansatz ist, insbesondere wenn Modelle mit nicht verschachtelten Prädiktorvariablen verglichen werden.

Gibt es klare Leitlinien, welcher Ansatz zur Modellmittelung am besten gerechtfertigt ist (Mittelung gewichteter Parameterschätzungen gegenüber gewichteten Vorhersagen)? Gibt es auch weitere Komplikationen bei der Modellmittelung der Koeffizientenschätzungen bei gemischten Modellen?

John Stella
quelle
Beide Ansätze sind möglich. Der Hauptvorteil der Mittelwertbildung von Vorhersagen besteht darin, dass Sie über alle Arten von Modellen mitteln können.
Tim
Vielleicht von Interesse: "Modellmittelung in der Ökologie: eine Überprüfung der Bayes'schen, informationstheoretischen und taktischen Ansätze für prädiktive Inferenz" esajournals.onlinelibrary.wiley.com/doi/10.1002/ecm.1309
Florian Hartig

Antworten:

4

In linearen Modellen erhalten Sie durch Mittelwertbildung über Koeffizienten dieselben vorhergesagten Werte wie die vorhergesagten Werte aus Mittelwertbildung über Vorhersagen, erhalten jedoch mehr Informationen. Viele Expositionen befassen sich mit linearen Modellen und werden daher über Koeffizienten gemittelt.

Sie können die Äquivalenz mit etwas linearer Algebra überprüfen. Angenommen, Sie haben Beobachtungen und N Prädiktoren. Sie sammeln diese in der T × N Matrix X . Sie haben auch M Modelle, von denen jedes den N Prädiktoren eine Koeffizientenschätzung β m zuweist . Stapeln Sie diese Koeffizientenschätzungen in der N × M- Matrix β . Mittelwertbildung bedeutet, dass Sie jedem Modell m Gewichte w m zuweisen (Gewichte sind normalerweise nicht negativ und summieren sich zu eins). Setzen Sie diese Gewichte in den Vektor w der LängeTNT×NXMβmNN×Mβwmmw .M

Vorhergesagte Werte für jedes Modell sind gegeben durch y m = X β m , oder, in dem gestapelten Notation y = X β vorausgesagten Werte von den Mittelungs über Vorhersagen sind gegeben durch y w = ( X β ) w , wenn Sie über Koeffizienten - Durchschnittswert Schätzungen berechnen Sie stattdessen β w = β w Und die vorhergesagten Werte aus den Mittelungskoeffizienten sind gegeben durch X β w = X ( β w )y^m=Xβm

y^=Xβ
y^w=(Xβ)w
βw=βw
Xβw=X(βw)
Die Äquivalenz zwischen den vorhergesagten Werten für beide Ansätze ergibt sich aus der Assoziativität des Matrixprodukts. Da die vorhergesagten Werte gleich sind, können Sie auch einfach den Durchschnitt der Koeffizienten berechnen: Dies gibt Ihnen mehr Informationen, falls Sie beispielsweise die Koeffizienten für einzelne Prädiktoren betrachten möchten.

In nichtlinearen Modellen gilt die Äquivalenz normalerweise nicht mehr, und dort ist es in der Tat sinnvoll, stattdessen über Vorhersagen zu mitteln. Die umfangreiche Literatur über Mittelung über die Prognosen (Prognose Kombinationen) ist zum Beispiel zusammengefasst hier .

Matthias Schmidtblaicher
quelle
1
"Zumindest in linearen Modellen" - wie wäre es nur in linearen Modellen?!
Hao Ye
Es ist ein "wenn" Argument, nicht "nur wenn", daher finde ich die Formulierung "zumindest" korrekt.
Matthias Schmidtblaicher
Trotzdem verstehe ich Ihren Standpunkt und habe meine Antwort @HaoYe
Matthias Schmidtblaicher