Sampling von einer falschen Distribution (unter Verwendung von MCMC und anderen)

Meine grundlegende Frage lautet: Wie würden Sie eine Stichprobe aus einer unsachgemäßen Verteilung entnehmen? Ist es überhaupt sinnvoll, Proben aus einer unsachgemäßen Verteilung zu entnehmen?

Xi'ans Kommentar hier geht auf die Frage ein, aber ich suchte nach mehr Details dazu.

Spezifischer für MCMC:

In Bezug auf MCMC und das Lesen von Artikeln betonen die Autoren, dass sie korrekte posteriore Verteilungen erhalten haben. Es gibt das berühmte Papier von Geyer (1992) , bei dem der Autor vergessen hat, zu überprüfen, ob der hintere Teil korrekt ist (ansonsten ein ausgezeichnetes Papier).

Nehmen wir jedoch an, dass a eine Wahrscheinlichkeit und eine ungenaue vorherige Verteilung auf so dass der resultierende hintere Teil ebenfalls ungenau ist und MCMC verwendet wird, um eine Stichprobe aus der Verteilung zu ziehen. Was zeigt in diesem Fall die Stichprobe? Enthält dieses Beispiel nützliche Informationen? Mir ist bewusst, dass die Markov-Kette hier entweder vorübergehend oder null-wiederkehrend ist. Gibt es positive Take-Aways, wenn sie null-wiederkehrend sind ?$f(x|\theta)$$\theta$

Schließlich erwähnt er in Neil Gs Antwort hier die

Sie können in der Regel (unter Verwendung von MCMC) Proben aus dem posterior entnehmen, auch wenn dies nicht der Fall ist.

Er erwähnt, dass solche Stichproben beim tiefen Lernen häufig vorkommen. Wenn dies wahr ist, wie macht dies Sinn?

Eine Stichprobe von einem nicht geeigneten posterioren (Dichte) ist aus probabilistischer / theoretischer Sicht nicht sinnvoll. Der Grund dafür ist, dass die Funktion f kein endliches Integral über dem Parameterraum hat und folglich nicht mit einem (endlichen Maß) Wahrscheinlichkeitsmodell ( Ω , σ , P ) (Raum, Sigma-Algebra, Wahrscheinlichkeitsmaß ) verknüpft werden kann ).$f$$f$$(\Omega,\sigma,{\mathbb P})$

Wenn Sie ein Modell mit einem nicht korrekten Vorgänger haben, der zu einem nicht korrekten Nachfolger führt, können Sie in vielen Fällen immer noch mit MCMC, z. B. Metropolis-Hastings, davon eine Stichprobe erstellen, und die "Nachfolger-Stichproben" sehen möglicherweise vernünftig aus. Das sieht auf den ersten Blick faszinierend und paradox aus. Der Grund dafür ist jedoch, dass MCMC-Methoden auf numerische Beschränkungen der Computer in der Praxis beschränkt sind und daher alle Unterstützungen für einen Computer beschränkt (und diskret!) Sind. Dann ist unter diesen Einschränkungen (Beschränktheit und Diskriminanz) der hintere Teil in den meisten Fällen tatsächlich in Ordnung.

Es gibt eine großartige Referenz von Hobert und Casella, die ein (etwas anderes) Beispiel darstellt, in dem Sie einen Gibbs-Sampler für einen posterior konstruieren können. Die posterioren Samples sehen vollkommen vernünftig aus, aber der posterior ist unpassend!

http://www.jstor.org/stable/2291572

Ein ähnliches Beispiel ist kürzlich hier erschienen . Tatsächlich warnen Hobert und Casella den Leser, dass MCMC-Methoden nicht zum Erkennen von Unzulänglichkeiten des Seitenzahns verwendet werden können und dass dies separat überprüft werden muss, bevor MCMC-Methoden implementiert werden. In Summe:

1. Einige MCMC-Sampler, wie Metropolis-Hastings, können (sollten aber nicht) verwendet werden, um von einem nicht geeigneten posterioren Sample zu sampeln, da der Computer den Parameterraum begrenzt und diskretisiert. Nur wenn Sie große Proben haben, können Sie möglicherweise einige seltsame Dinge beobachten. Wie gut Sie diese Probleme erkennen können, hängt auch von der "instrumentellen" Verteilung Ihres Samplers ab. Der letztere Punkt erfordert eine ausführlichere Diskussion, daher möchte ich ihn hier belassen.
2. (Hobert und Casella). Die Tatsache, dass Sie einen Gibbs-Sampler (bedingtes Modell) für ein Modell mit einem falschen Vorgänger konstruieren können, bedeutet nicht, dass das hintere Modell (Gelenkmodell) korrekt ist.
3. Eine formale probabilistische Interpretation der posterioren Stichproben erfordert die Angemessenheit des posterioren. Konvergenzergebnisse und -nachweise werden nur für geeignete Wahrscheinlichkeitsverteilungen / -maße erstellt.

PS (ein bisschen frech): Glauben Sie nicht immer, was die Leute beim maschinellen Lernen machen. Wie Prof. Brian Ripley sagte: "Maschinelles Lernen ist Statistik abzüglich jeglicher Überprüfung von Modellen und Annahmen".

Geben Sie eine alternative, mehr angewandte Ansicht von Rods hervorragender Antwort oben -

$+/- 10^{100}$

$1/x$Ich benutze für die Berechnung eine, die keine Obergrenze hat, und das "zusätzliche Merkmal", bei dem es gleich Null über der Bevölkerung von San Francisco ist ... ", wobei das" zusätzliche Merkmal "in angewendet wird Ein Schritt nach der Generierung des Samples. Der echte Prior ist nicht der, der bei der MCMC-Berechnung verwendet wird (in meinem Beispiel).

Im Prinzip wäre ich mit der Verwendung einer MCMC-generierten Stichprobe aus einer unsachgemäßen Verteilung in der angewandten Arbeit durchaus einverstanden, aber ich würde sehr darauf achten, wie diese Unangemessenheit zustande kam und wie die Zufallsstichprobe davon beeinflusst wird . Im Idealfall würde die Zufallsstichprobe nicht davon betroffen sein, wie in meinem Hot-Dog-Beispiel, in dem in einer vernünftigen Welt niemals eine Zufallszahl generiert würde, die größer ist als die Anzahl der Personen in San Francisco.

Sie sollten sich auch der Tatsache bewusst sein, dass Ihre Ergebnisse sehr empfindlich auf die Funktion des Seitenzahns reagieren können, die zu Unregelmäßigkeiten geführt hat, selbst wenn Sie sie später bei einer großen Anzahl abschneiden (oder welche Änderung auch immer für Ihr Modell geeignet ist). ) Sie möchten, dass Ihre Ergebnisse unempfindlich gegenüber geringfügigen Veränderungen sind, die Ihren posterioren Bereich von unsachgemäß zu richtig verändern. Dies kann schwieriger zu gewährleisten sein, ist jedoch Teil des größeren Problems, sicherzustellen, dass Ihre Ergebnisse Ihren Annahmen widersprechen, insbesondere denjenigen, die der Einfachheit halber erstellt wurden.