Messungen der Modellkomplexität

Wie können wir die Komplexität zweier Modelle mit der gleichen Anzahl von Parametern vergleichen?

Edit 09/19 : Um zu verdeutlichen, ist die Modellkomplexität ein Maß dafür, wie schwierig es ist, aus begrenzten Daten zu lernen. Wenn zwei Modelle zu vorhandenen Daten gleich gut passen, führt ein Modell mit geringerer Komplexität zu einem geringeren Fehler bei zukünftigen Daten. Wenn Annäherungen verwendet werden, ist dies möglicherweise technisch nicht immer der Fall, aber dies ist in Ordnung, wenn dies in der Praxis der Fall ist. Verschiedene Näherungen ergeben unterschiedliche Komplexitätsmaße

Neben den verschiedenen Maßen für die minimale Beschreibungslänge (z. B. normalisierte maximale Wahrscheinlichkeit, Fisher Information Approximation) gibt es zwei weitere erwähnenswerte Methoden:

1. Parametrischer Bootstrap . Es ist viel einfacher zu implementieren als die anspruchsvollen MDL-Maßnahmen. Ein schönes Papier stammt von Wagenmaker und Kollegen:
   Wagenmakers, E.-J., Ratcliff, R., Gomez, P. & Iverson, GJ (2004). Bewertung der Modellnachahmung mithilfe des parametrischen Bootstraps . Journal of Mathematical Psychology , 48, 28-50.
   Die Zusammenfassung:

   Wir präsentieren ein allgemeines Stichprobenverfahren zur Quantifizierung der Modellnachahmung, definiert als die Fähigkeit eines Modells, Daten zu berücksichtigen, die von einem konkurrierenden Modell generiert werden. Dieses Stichprobenverfahren, das als parametrisches Bootstrap-Cross-Fit-Verfahren bezeichnet wird (PBCM; vgl. Williams (JR Statist. Soc. B 32 (1970) 350; Biometrics 26 (1970) 23)), erzeugt Verteilungen von Unterschieden in der Anpassungsgüte erwartet unter jedem der konkurrierenden Modelle. In der dateninformierten Version des PBCM weisen die generierenden Modelle spezifische Parameterwerte auf, die durch Anpassen der betrachteten experimentellen Daten erhalten werden. Die dateninformierten Differenzverteilungen können mit den beobachteten Unterschieden in der Anpassungsgüte verglichen werden, um eine Quantifizierung der Modelladäquanz zu ermöglichen. In der nicht informierten Datenversion des PBCM Die generierenden Modelle haben einen relativ breiten Bereich von Parameterwerten, der auf Vorwissen basiert. Die Anwendung sowohl der informierten als auch der nicht informierten PBCM-Daten wird anhand mehrerer Beispiele veranschaulicht.

   Update: Bewertung der Modellnachahmung in Klartext. Sie nehmen eines der beiden konkurrierenden Modelle und wählen nach dem Zufallsprinzip einen Parametersatz für dieses Modell aus (entweder Daten informiert oder nicht). Anschließend erstellen Sie Daten aus diesem Modell mit dem ausgewählten Parametersatz. Als Nächstes lassen Sie beide Modelle zu den erstellten Daten passen und prüfen, welches der beiden Kandidatenmodelle die bessere Anpassung ergibt. Wenn beide Modelle gleichermaßen flexibel oder komplex sind, sollte das Modell, aus dem Sie die Daten erstellt haben, besser passen. Wenn das andere Modell jedoch komplexer ist, kann es eine bessere Anpassung ergeben, obwohl die Daten aus dem anderen Modell erstellt wurden. Sie wiederholen dies mehrmals mit beiden Modellen (dh lassen Sie beide Modelle Daten produzieren und schauen Sie, welches der beiden Modelle besser passt). Das Modell, das die vom anderen Modell erzeugten Daten "überpasst", ist das komplexere.

2. Cross-Validation : Die Implementierung ist ebenfalls recht einfach. Siehe die Antworten auf diese Frage . Es ist jedoch zu beachten, dass das Problem darin besteht, dass die Auswahl unter den Stichproben-Schneideregeln (Auslassen, K-fach usw.) nicht prinzipiell ist.

Ich denke, es würde vom tatsächlichen Modellanpassungsverfahren abhängen. Für eine allgemein anwendbare Messung können Sie die in Ye 1998 beschriebenen Allgemeinen Freiheitsgrade in Betracht ziehen - im Wesentlichen die Empfindlichkeit der Änderung von Modellschätzungen gegenüber Störungen von Beobachtungen -, die als Maß für die Modellkomplexität durchaus gut funktioniert.

Die Mindestbeschreibungslänge (MDL) und die Mindestnachrichtenlänge (MML) sollten unbedingt überprüft werden.

Für MDL ist ein einfaches Papier, das das Verfahren der normalisierten maximalen Wahrscheinlichkeit (NML) sowie die asymptotische Approximation veranschaulicht:

S. de Rooij & P. ​​Grünwald. Eine empirische Studie zur Auswahl von Modellen mit minimaler Beschreibungslänge und unendlicher parametrischer Komplexität. Journal of Mathematical Psychology, 2006, 50, 180-192

Hier betrachten sie die Modellkomplexität einer geometrischen vs. einer Poisson-Verteilung. Ein exzellentes (kostenloses) Tutorial zu MDL finden Sie hier .

Alternativ finden Sie hier eine Arbeit zur Komplexität der Exponentialverteilung, die sowohl mit MML als auch mit MDL untersucht wurde . Leider gibt es kein aktuelles Tutorial zu MML, aber das Buch ist eine hervorragende Referenz und sehr zu empfehlen.

Die Mindestbeschreibungsdauer kann ein Weg sein, den es sich zu beschreiten lohnt.

Mit "Modellkomplexität" ist üblicherweise die Fülle des Modellraums gemeint. Beachten Sie, dass diese Definition nicht von Daten abhängt. Bei linearen Modellen wird die Fülle des Modellraums trivial mit der Verkleinerung des Raums gemessen. Dies ist, was einige Autoren die "Freiheitsgrade" nennen (obwohl die Freiheitsgrade historisch für den Unterschied zwischen dem Modellraum und dem Probenraum reserviert waren). Für nichtlineare Modelle ist die Quantifizierung der Raumfülle weniger trivial. Die verallgemeinerten Freiheitsgrade (siehe Antwort von ars) sind eine solche Maßnahme. Es ist in der Tat sehr allgemein und kann für jeden "seltsamen" Modellraum wie Bäume, KNN und dergleichen verwendet werden. Die VC-Dimension ist ein weiteres Maß.

Wie oben erwähnt, ist diese Definition von "Komplexität" datenunabhängig. Daher haben zwei Modelle mit der gleichen Anzahl von Parametern normalerweise die gleiche "Komplexität".

Aus Jaroslaws Kommentaren zu Henriks Antwort:

Eine gegenseitige Validierung scheint jedoch die Bewertung der Komplexität nur zu verschieben. Wenn Sie Daten verwenden, um Ihre Parameter und Ihr Modell wie bei der Kreuzvalidierung auszuwählen, wird die relevante Frage lauten, wie Sie die Datenmenge schätzen, die dieser "Meta" -Fitter für eine gute Leistung benötigt

Ich frage mich, ob dies an sich nicht informativ ist. Sie führen mehrere$k$-facher Lebenslauf mit Variation $k$ (entlang eines Rasters sagen) und schauen, welches Modell besser abschneidet als $k$steigt. Genauer gesagt: Ich frage mich, ob sich die beiden Modelle dort unterscheiden$CV(k)$ Leistung in Abhängigkeit von $k$ kann als Beweis dafür herangezogen werden, dass dieses Modell (dasjenige, dessen relative Leistung weniger abnimmt, wenn $k$ erhöht) wäre die weniger komplexe.

Sie könnten diesem Aspekt sogar eine „Bedeutung“ geben, da das Ergebnis des Verfahrens direkt in Form von (Einheiten) Unterschieden in Bezug auf Prognosefehler außerhalb der Stichprobe ausgedrückt wird.

Was ist mit dem Informationskriterium für den Modellvergleich? Siehe z http://en.wikipedia.org/wiki/Akaike_information_criterion

Modellkomplexität ist hier die Anzahl der Parameter des Modells.