Zum Beispiel hören wir in einem generativen kontradiktorischen Netzwerk oft, dass Inferenz einfach ist, weil die bedingte Verteilung von x bei gegebener latenter Variable z 'traktierbar' ist. Außerdem habe ich irgendwo gelesen, dass eine Boltzmann-Maschine und ein Variations-Autoencoder verwendet werden, bei denen die posteriore Verteilung nicht nachvollziehbar ist, so dass eine Art Annäherung angewendet werden muss. Kann mir jemand sagen, was "nachvollziehbar" in einer strengen Definition bedeutet? Oder könnte jemand in einem der Beispiele, die ich oben gegeben habe, erklären, was Tractable genau in diesem Zusammenhang bedeutet?
inference
variational-bayes
gan
sirius27
quelle
quelle
Antworten:
Zu meiner besten Erinnerung habe ich in einem statistischen Text noch nie eine formale Definition dafür gefunden, aber ich denke, Sie können eine aus einigen kontextbezogenen Lesungen zusammenfügen. Beginnen Sie mit der Bayes'schen Datenanalyse . 261:
Das Hindernis ist im Allgemeinen die marginale Wahrscheinlichkeit, der Nenner auf der rechten Seite der Bayes-Regel, die ein Integral beinhalten könnte, das nicht analytisch ausgedrückt werden kann. Für mehr denke ich, dass Sie den Wiki-Artikel über geschlossene Ausdrücke finden, der für den Kontext hilfreich ist (Hervorhebung von mir):
Wenn Sie weiterlesen, sehen Sie eine Tabelle mit Ausdrucksklassen, und "Analytische Ausdrücke" enthalten mehrere, die an den Normalisierungskonstanten exponentieller Familienverteilungen beteiligt sind. ZB die Gammafunktion in der Gammaverteilung und die Bessel-Funktion im von-Mises-Fischer.
Das heißt, wir sind bereit, zumindest diese in unsere Definition von "Traktierbarkeit" aufzunehmen. (Es kann andere Verteilungen geben, die die als "analytische Ausdrücke" klassifizierten Operationsklassen betreffen. Ich gebe zu, dass ich nicht vertraut bin.)
quelle
Zusätzlich zu Sean Osters Antwort werde ich versuchen, etwas Licht aus der Perspektive der Rechenkosten zu werfen.
Definieren wir zunächst, welche Probleme zu lösen und zu lösen sind (Referenz: http://www.cs.ucc.ie/~dgb/courses/toc/handout29.pdf ).
Aus dieser Perspektive ist eine Definition für die verfolgbare Verteilung, dass es Polynomzeit braucht, um die Wahrscheinlichkeit dieser Verteilung an einem bestimmten Punkt zu berechnen.
Wenn eine Verteilung in geschlossener Form vorliegt, kann die Wahrscheinlichkeit dieser Verteilung definitiv in Polynomzeit berechnet werden, was in der akademischen Welt bedeutet, dass die Verteilung nachvollziehbar ist. Intraktierbare Verteilungen dauern gleich oder länger als die Exponentialzeit, was normalerweise bedeutet, dass wir mit vorhandenen Rechenressourcen niemals die Wahrscheinlichkeit an einem bestimmten Punkt mit relativ "kurzer" Zeit berechnen können (zu jeder Zeit, die länger als die Polynomzeit ist ... ).
quelle
Eine Verteilung wird als nachvollziehbar bezeichnet, wenn eine dadurch induzierte Grenzwahrscheinlichkeit in linearer Zeit berechnet werden kann
quelle