In der Bayes'schen Statistik wird häufig erwähnt, dass die posteriore Verteilung unlösbar ist und daher eine ungefähre Inferenz angewendet werden muss. Was sind die Faktoren, die diese Unlösbarkeit verursachen?
28
In der Bayes'schen Statistik wird häufig erwähnt, dass die posteriore Verteilung unlösbar ist und daher eine ungefähre Inferenz angewendet werden muss. Was sind die Faktoren, die diese Unlösbarkeit verursachen?
Das Problem liegt hauptsächlich in der Bayes'schen Analyse Integrale , häufig mehrdimensionale, und es sind diese Integrale, die in der Regel analytisch unlösbar sind (außer in einigen speziellen Fällen, die die Verwendung von konjugierten Prioren erfordern).
Im Gegensatz dazu basiert ein Großteil der nicht-bayesianischen Statistiken auf der maximalen Wahrscheinlichkeit - dem Finden des Maximums einer (normalerweise mehrdimensionalen) Funktion, bei der Kenntnisse über ihre Ableitungen erforderlich sind , dh Differenzierung, erforderlich sind. Auch wenn numerische Methoden in vielen komplexeren Problemen verwendet werden, ist es möglich, ohne sie häufiger voranzukommen, und die numerischen Methoden können einfacher sein (auch wenn weniger einfache Methoden in der Praxis eine bessere Leistung erbringen).
Ich würde also sagen, es kommt auf die Tatsache an, dass Differenzierung leichter zu handhaben ist als Integration.
Ich hatte die Gelegenheit, David Blei diese Frage persönlich zu stellen, und er sagte mir, dass Unlösbarkeit in diesem Zusammenhang eines von zwei Dingen bedeutet:
Das Integral hat keine geschlossene Lösung. Dies könnte der Fall sein, wenn wir einige komplexe, reale Daten modellieren und die Verteilung einfach nicht auf Papier schreiben können.
Das Integral ist rechnerisch nicht umsetzbar. Er empfahl, dass ich mich mit Stift und Papier hinsetze und die Grenzbeweise für die bayesianische Mischung der Gaußschen ausarbeite. Sie werden sehen, dass es rechenintensiv, dh exponentiell ist. Er gibt ein schönes Beispiel dafür in einem kürzlich erschienenen Artikel (siehe 2.1 Das Problem der ungefähren Folgerung ).
FWIW finde ich diese Wortwahl verwirrend, da (1) sie in ihrer Bedeutung überladen ist und (2) sie in CS bereits weit verbreitet ist, um nur auf die rechnerische Unlösbarkeit Bezug zu nehmen.
Tatsächlich gibt es eine Reihe von Möglichkeiten:
Menschen meinen normalerweise etwas wie (2), wenn sie über einen (analytisch) nicht nachvollziehbaren hinteren Teil sprechen, und etwas wie (3), wenn sie über eine nicht nachvollziehbare Wahrscheinlichkeit sprechen. Es ist der dritte Fall, in dem eine ungefähre Bayes'sche Berechnung eine der Optionen ist, während im zweiten Fall MCMC-Methoden normalerweise durchführbar sind (von denen Sie vielleicht behaupten, dass sie in gewissem Sinne ungefähr sind). Ich bin mir nicht ganz sicher, auf welche der beiden in dem von Ihnen angegebenen Zitat Bezug genommen wird.
Die Traktabilität hängt mit der geschlossenen Form eines Ausdrucks zusammen .
Probleme gelten als lösbar, wenn sie in Form eines Ausdrucks in geschlossener Form gelöst werden können.
In der Mathematik ist ein Ausdruck in geschlossener Form ein mathematischer Ausdruck, der in einer endlichen Anzahl von Operationen ausgewertet werden kann. Es kann Konstanten, Variablen, bestimmte "bekannte" Operationen (z. B. + - × ÷) und Funktionen (z. B. n-te Wurzel, Exponent, Logarithmus, trigonometrische Funktionen und inverse hyperbolische Funktionen) enthalten, ist jedoch normalerweise unbegrenzt. Die in einem Ausdruck in geschlossener Form zugelassenen Operationen und Funktionen können je nach Autor und Kontext variieren.
Undurchführbarkeit bedeutet also, dass es eine Art von Grenze / Unendlichkeit gibt (wie eine unendliche Summation in Integralen), die nicht in einer endlichen Anzahl von Operationen bewertet werden kann, und daher müssen Approximationstechniken (wie MCMC) verwendet werden.
Der Wikipedia-Artikel verweist auf Cobhams These, mit der versucht wird, diese "Menge an Operationen" und damit die Nachvollziehbarkeit zu formalisieren.