Behandlung der Modellunsicherheit

25

Ich habe mich gefragt, wie die Bayesianer in der CrossValidated-Community das Problem der Modellunsicherheit sehen und wie sie es vorziehen, damit umzugehen. Ich werde versuchen, meine Frage in zwei Teilen zu stellen:

Wie wichtig ist (Ihrer Erfahrung / Meinung nach) der Umgang mit Modellunsicherheit? Ich habe in der Community für maschinelles Lernen keine Artikel zu diesem Thema gefunden, daher frage ich mich nur, warum.
Was sind die gängigen Ansätze für den Umgang mit Modellunsicherheiten (Bonuspunkte, wenn Sie Referenzen angeben)? Ich habe von der Bayes'schen Modellmittelung gehört, obwohl ich mit den spezifischen Techniken / Einschränkungen dieses Ansatzes nicht vertraut bin. Was sind einige andere und warum bevorzugen Sie einen anderen?

machine-learning bayesian model-selection Nick
quelle

1

Eine weniger verbreitete Methode (die jedoch immer beliebter wird) sind Bewertungsregeln, mit denen die Vorhersageleistung der Modelle bewertet wird.

17

Es gibt zwei Fälle, die bei der Modellauswahl auftreten:

Wenn das wahre Modell in den Modellraum gehört.

Dies ist mit BIC sehr einfach zu handhaben . Es gibt Ergebnisse, die zeigen, dass BIC mit hoher Wahrscheinlichkeit das wahre Modell auswählt.

In der Praxis ist es jedoch sehr selten, dass wir das wahre Modell kennen. Ich muss bemerken, dass BIC aus diesem Grund häufig missbraucht wird (wahrscheinlicher Grund dafür ist das ähnliche Aussehen wie AIC ) . Diese Probleme wurden in diesem Forum bereits in verschiedenen Formen behandelt. Eine gute Diskussion ist hier .

Wenn sich das wahre Modell nicht im Modellbereich befindet.

Dies ist ein aktives Forschungsgebiet in der Bayesianischen Gemeinschaft. Es wird jedoch bestätigt, dass die Menschen wissen, dass die Verwendung von BIC als Modellauswahlkriterium in diesem Fall gefährlich ist. Aktuelle Literatur zur hochdimensionalen Datenanalyse zeigt dies. Ein solches Beispiel ist dieses . Der Bayes-Faktor ist in hohen Dimensionen auf jeden Fall überraschend gut. Es wurden verschiedene Modifikationen des BIC vorgeschlagen, z. B. mBIC, es besteht jedoch kein Konsens. Die RJMCMC von Green ist eine weitere beliebte Methode zur Auswahl von Bayes-Modellen, hat jedoch auch ihre eigenen Mängel. Sie können dies weiter verfolgen.

Es gibt ein weiteres Camp in der Bayesianischen Welt, das eine Modellmittelung empfiehlt. Bemerkenswert, Dr. Raftery.

Bayesianische Modellmittelung.

Diese Website von Chris Volinksy ist eine umfassende Quelle für Bayesian Model Averging. Einige andere Werke sind hier .

Auch hier ist die Bayes'sche Modellauswahl noch immer ein aktives Forschungsgebiet, und je nachdem, wen Sie fragen, erhalten Sie möglicherweise sehr unterschiedliche Antworten.

suncoolsu
quelle

\log | A_{n} | \approx \log | n A_{1} | = p \log n + \log | A_{1} |

$\log|A_n|\approx\log|nA_1|=p\log n+\log|A_1|$

A_{n}

$A_n$

A_{1}

$A_1$

\log | A_{1} | = O (1)

$\log|A_1|=O(1)$

es könnte auch daran liegen, dass die Laplace-Näherung ebenfalls schlecht

Wahrscheinlichkeitslogik

11

Ein "wahrer" Bayesianer würde sich mit Modellunsicherheit befassen, indem er alle plausiblen Modelle ausgleicht (integriert). In einem linearen Ridge-Regressionsproblem würden Sie beispielsweise über die Regressionsparameter (die einen Gaußschen posterioren Wert haben würden, so dass dies analytisch erfolgen könnte), aber dann über die Hyperparameter (Rauschpegel und Regularisierungsparameter) über z. B. MCMC an den Rand gedrängt Methoden.

Eine "geringere" Bayes'sche Lösung wäre, die Modellparameter zu marginalisieren, aber die Hyperparameter zu optimieren, indem die marginale Wahrscheinlichkeit (auch als "Bayes'sche Evidenz" bezeichnet) für das Modell maximiert wird. Dies kann jedoch zu einer stärkeren Überanpassung führen als erwartet (siehe z. B. Cawley und Talbot ). Informationen zur Evidenzmaximierung beim maschinellen Lernen finden Sie in der Arbeit von David MacKay . Zum Vergleich wird auf die Arbeit von Radford Neal über den Ansatz des "Integrierens von allem" bei ähnlichen Problemen verwiesen. Beachten Sie, dass das Evidence Framework für Situationen sehr praktisch ist, in denen die Integration zu rechenintensiv ist, sodass für beide Ansätze Spielraum besteht.

Bayesianer integrieren effektiv, anstatt zu optimieren. Idealerweise würden wir unsere vorherige Überzeugung in Bezug auf die Eigenschaften der Lösung (z. B. Glätte) zum Ausdruck bringen und Vorhersagen theoretisch treffen, ohne tatsächlich ein Modell zu erstellen. Die "Modelle" des Gaußschen Prozesses, die beim maschinellen Lernen verwendet werden, sind ein Beispiel für diese Idee, bei der die Kovarianzfunktion unsere vorherige Überzeugung hinsichtlich der Lösung codiert. Siehe das ausgezeichnete Buch von Rasmussen und Williams .

Für praktische Bayesianer gibt es immer eine Kreuzvalidierung, die für die meisten Dinge schwer zu schlagen ist!

Dikran Beuteltier
quelle

11

Eines der interessanten Dinge, die ich in der Welt der "Modellunsicherheit" finde, ist die Vorstellung eines "wahren Modells". Dies bedeutet implizit, dass unsere "Modellsätze" folgende Form haben:

M_{ich}^{(1)} : Das i-te Modell ist das wahre Modell

$M_i^{(1)}:\text{The ith model is the true model}$

$P(M_i^{(1)}|DI)$ $M_i^{(1)}$

Die Vollständigkeit ist hier entscheidend, da dies sicherstellt, dass die Wahrscheinlichkeiten zu 1 addieren, was bedeutet, dass wir das Modell ausgrenzen können.

Dies ist jedoch alles auf konzeptioneller Ebene - die Modellmittelung weist eine gute Leistung auf. Das heißt also, es muss ein besseres Konzept geben.

Persönlich betrachte ich Modelle als Werkzeuge, wie einen Hammer oder einen Bohrer. Modelle sind mentale Konstrukte, die verwendet werden, um Vorhersagen zu treffen oder Dinge zu beschreiben, die wir beobachten können. Es klingt sehr seltsam, von einem "wahren Hammer" zu sprechen, und ebenso seltsam, von einem "wahren mentalen Konstrukt" zu sprechen. Auf dieser Grundlage erscheint mir die Vorstellung eines "wahren Modells" seltsam. Es erscheint viel natürlicher, an "gute" und "schlechte" Modelle zu denken, als an "richtige" und "falsche" Modelle.

Unter diesem Gesichtspunkt könnten wir aus einer Auswahl von Modellen ebenso unsicher sein, welches "beste" Modell zu verwenden ist. Nehmen wir also an, wir begründen stattdessen den Vorschlag:

M_{ich}^{(2)} : Von allen Modellen, die spezifiziert wurden,

$M_i^{(2)}:\text{Out of all the models that have been specified,}$

Das i-te Modell ist das beste Modell

$\text{the ith model is best model to use}$

$M_{i}^{(2)}$ $M_{i}^{(2)}$

Bei diesem Ansatz benötigen Sie jedoch eine Art Maß für die Anpassungsgüte, um zu beurteilen, wie gut Ihr "bestes" Modell ist. Dies kann auf zwei Arten geschehen, indem mit "sicheren" Modellen getestet wird, was den üblichen GoF-Statistiken (KL-Divergenz, Chi-Quadrat usw.) entspricht. Eine andere Möglichkeit, dies zu beurteilen, besteht darin, ein extrem flexibles Modell in Ihre Modellklasse aufzunehmen - möglicherweise ein normales Mischungsmodell mit Hunderten von Komponenten oder eine Dirichlet-Prozessmischung. Wenn dieses Modell die besten Ergebnisse erzielt, sind Ihre anderen Modelle wahrscheinlich nicht ausreichend.

Dieser Artikel enthält eine gute theoretische Diskussion und zeigt Schritt für Schritt, wie Sie tatsächlich ein Modell auswählen.

Wahrscheinlichkeitslogik
quelle

Ein großes +1. Sehr nachdenkliche, klare Analyse.

Whuber

Gute Antwort. Ich sollte erwähnen, dass BIC, gemessen an einer bestimmten Klasse von Modellen, großartig ist. In den meisten Fällen befindet sich das wahre Modell jedoch, wie Sie bereits erwähnt haben, außerhalb des Modellbereichs. Wie Sie bereits erwähnt haben, ist die Nähe zwischen dem wahren Modell und dem "besten Modell" sinnvoll. Dies sind die Antworten, die AIC und andere ICs zu beantworten versuchen. BMA funktioniert, aber es hat sich auch gezeigt, dass es nicht funktioniert. Das soll nicht heißen, dass das schlecht ist, aber wir sollten vorsichtig sein, wenn wir es als universelle Alternative betrachten.

Suncoolsu

1

C R A P = C R A P = \frac{1}{N} \sum_{i = 1}^{N} C R A P_{i}

$CRAP=CRAP=\frac{1}{N}\sum_{i=1}^{N} CRAP_i$ . Wenn alle Ihre Modelle saugen, dann ist die Mittelung über sie eine Zeitverschwendung. Eine Mittelwertbildung ist nur dann sinnvoll, wenn Sie viele gute Modelle haben, sich aber nicht entscheiden können, welches Sie verwenden möchten.

Wahrscheinlichkeitslogik

4

Ich weiß, dass die Leute DIC und Bayes-Faktor verwenden, wie Suncoolsu sagte. Und ich war interessiert, als er sagte "Es gibt Ergebnisse, die zeigen, dass BIC das wahre Modell mit hoher Wahrscheinlichkeit auswählen wird" (Referenzen?). Aber ich benutze das Einzige, was ich weiß, nämlich den von Andrew Gelman verfochtenen posterioren Predictive Check. Wenn Sie Andrew Gelman und hintere Vorhersageschecks googeln, werden Sie eine Menge Dinge finden. Und ich würde werfen Sie einen Blick auf das, was Christian Robert ist writting auf ABC über Modellwahl . Auf jeden Fall sind hier einige Referenzen, die ich mag, und einige aktuelle Beiträge in Gelmans Blog:

Blog

DIC und AIC ; Mehr zu DIC . Modellprüfung und externe Validierung

Artikel zu posterioren prädiktiven Kontrollen:

GELMAN, Andrew. (2003a). „Eine Bayes'sche Formulierung zur explorativen Datenanalyse und zum Testen der Anpassungsgüte“. International Statistical Review, vol. 71, n.2, S. 389-382.

GELMAN, Andrew. (2003b). "Explorative Datenanalyse für komplexe Modelle". Journal of Computational and Graphic Statistics, vol. 13, n. 4, S. 755/779.

GELMAN, Andrew; MECHELEN, Iven Van; VERBEKE, Geert; HEITJAN, Daniel F .; MEULDERS, Michel. (2005). „Multiple Imputation zur Modellprüfung: Diagramme mit vervollständigten Daten mit fehlenden und latenten Daten.“ Biometrics 61, 74–85, März

GELMAN, Andrew; MENG, Xiao-Li; STERN, Hal. (1996). "Posterior Predictive Assessment of Model Fitness über realisierte Diskrepanzen". Statistica Sinica, 6, S. 733–807.

Manoel Galdino
quelle

Behandlung der Modellunsicherheit

Antworten: