Gibt es eine univariate Distribution, aus der wir keine Stichprobe erstellen können?

Wir haben eine Vielzahl von Methoden zur Zufallsgenerierung aus univariaten Verteilungen (inverse Transformation, Accept-Reject, Metropolis-Hastings usw.) und es scheint, dass wir aus buchstäblich jeder gültigen Verteilung eine Stichprobe erstellen können - stimmt das?

Können Sie ein Beispiel für eine univariate Verteilung nennen, aus der sich keine Zufallsgenerierung ergibt? Ich vermute, dieses Beispiel, in dem es unmöglich ist, existiert nicht (?). Nehmen wir also an, wir meinen mit "unmöglich" auch Fälle, die sehr rechenintensiv sind, z wenige von ihnen.

Gibt es ein solches Beispiel nicht, können wir dann tatsächlich nachweisen, dass wir aus jeder gültigen Verteilung zufällige Ziehungen generieren können ? Ich bin einfach gespannt, ob es dafür ein Gegenbeispiel gibt.

Wenn Sie die kumulative Verteilungsfunktion , können Sie sie entweder analytisch oder numerisch invertieren und mithilfe der inversen Transformationsstichprobenmethode Zufallsstichproben generieren https://en.wikipedia.org/wiki/Inverse_transform_sampling .$F(x)$

Definiere . Dies wird jede Verteilung handhaben, ob kontinuierlich, diskret oder eine beliebige Kombination. Dies kann immer numerisch und möglicherweise analytisch gelöst werden. Sei U eine Stichprobe aus einer Zufallsvariablen, die als Uniform [0,1] verteilt ist, dh aus einem Zufallszahlengenerator mit Uniform [0,1]. Dann ist F - 1 ( U ) , wie oben definiert, eine Zufallsstichprobe aus einer Zufallsvariablen mit der Verteilung F ( x ) . $F^{-1}(y) = inf(x:F(x) \ge y)$$F^{-1}(U)$$F(x)$

Dies ist möglicherweise nicht der schnellste Weg, um Zufallsstichproben zu generieren, aber es ist ein Weg, vorausgesetzt, dass F (x) bekannt ist.

Wenn F (x) nicht bekannt ist, ist das eine andere Geschichte.

Wenn eine Verteilung nur durch die Zeit - Erzeugungsfunktion definiert oder durch ihre charakteristische Funktion Φ ( t ) = E [ exp { i t X } ] , ist es selten , Wege zu finden , von diesen Distributionen zu generieren.$\phi(t)=\mathbb{E}[\exp\{tX\}]$$\Phi(t)=\mathbb{E}[\exp\{itX\}]$

Ein relevantes Beispiel sind stabile Verteilungen$\alpha$ , die keine bekannte Form für Dichte oder cdf, keine momenterzeugende Funktion, sondern eine charakteristische Funktion für geschlossene Form haben.

In der Bayes'schen Statistik können Posterior-Verteilungen, die mit unlösbaren Wahrscheinlichkeiten verbunden sind, oder einfach Datensätze, die zu groß sind, um in einen Computer zu passen, als unmöglich (genau) zu simulieren angesehen werden.

Angenommen, Sie beziehen sich auf kontinuierliche Verteilungen. Mit der Wahrscheinlichkeitsintegraltransformation können Sie aus jeder univariaten Verteilung simulieren, indem Sie u ∼ ( 0 , 1 ) simulieren und dann F - 1 ( u ) nehmen . Wir können also eine Uniform simulieren, dann ist dieser Teil erledigt. Das Einzige, was die Simulation von F ausschließen kann, ist, dass Sie die Umkehrung von F - 1 nicht berechnen können. Dies muss jedoch mit Rechenschwierigkeiten zusammenhängen und nicht mit etwas Theoretischem.$F$$u \sim (0,1)$$F^{-1}(u)$$F$$F^{-1}$

${\bf \theta} = (\theta_1,...,\theta_d)$$\theta_j$

In einigen Fällen gibt es Methoden, um eine ungefähre Stichprobe aus diesem posterioren Bereich zu ziehen. Derzeit gibt es jedoch keine genaue allgemeine Methode.

$(q_i)_{i=1}^\infty$$P(X=q_i)=0$$i$$\sum_{i=1}^\infty P(X=q_i)=0$$P(X\in \mathbb{Q})=1$

$\mu$$\pi(\mu) = 1$

Können Sie ein Beispiel für eine univariate Verteilung nennen, aus der sich keine Zufallsgenerierung ergibt?

$c$$c$

Wenn Sie nur zufällige Variablen abtasten möchten, deren Werte sich mit 64-Bit-Gleitkommazahlen annähern lassen, oder wenn Sie eine ähnliche Toleranz für endliche Fehler im Wert haben und Ihre Stichproben sowieso nicht auf einer Turing-Maschine dargestellt haben , bedenken Sie:

$X \sim \text{Ber}(p)$$p = 1 - c$$0$$1$

$0$$(-∞, c)$$1$$[c, ∞)$$0$$(-∞, 0)$$c$$[0, 1)$$1$$[1, ∞)$$c$$x$$y$-Achse. Ich bin mir nicht sicher, was das Sampling am schwierigsten macht. Such dir also das aus, das dir am besten gefällt ;-)

Nehmen wir an, dass mit "unmöglich" auch Fälle gemeint sind, die sehr rechenintensiv sind, z. B. Brute-Force-Simulationen wie das Zeichnen großer Mengen von Samples, um nur einige von ihnen zu akzeptieren.

In diesem Fall liegt die Antwort auf der Hand:

• Probe gleichmäßig die Primfaktoren von $n$$n$
• Probieren Sie die Vorbilder einer kryptografischen Hash-Funktion aus (z. B. Bitcoin generieren und Git und Quecksilber brechen).
• Probieren Sie die optimalen Go-Strategien aus (mit chinesischen Superko-Regeln, nach denen alle Spiele endlich sind - soweit ich weiß).

Ein bisschen formeller: Ich gebe Ihnen eine große Instanz eines NP-vollständigen Problems (oder EXP-vollständigen usw.) und bitte Sie, die Lösungssätze für mich einheitlich zu erproben.

Wahrscheinlich sollte ich akzeptieren $\bot$als Lösung für No-Instances (und nur für No-Instances, und es wäre die einzige Lösung). Ich sollte mir auch eine Bijektion zwischen zB ganzen Zahlen einfallen lassen (vorausgesetzt, Sie möchten Mitglieder von sampeln)$\mathbb{R}$) und Lösungen - was häufig ziemlich trivial ist, behandeln Sie einfach Basis-2-Darstellungen als Wahrheitszuweisungen für beispielsweise meine SAT-Instanz und verwenden Sie sie möglicherweise $-1$ zu repräsentieren $\bot$.

Sie können leicht überprüfen, ob eine gegebene Wahrheitszuweisung meine SAT-Instanz erfüllt, und nachdem Sie sie überprüft haben, wissen Sie, ob eine solche erfüllt ist, sodass ich eine CDF vollständig spezifiziert habe, indem ich Ihnen eine Boolesche Formel (oder Schaltung) gebe, um noch die entsprechende Verteilung abzutasten man muss im wesentlichen zu etwas werden, das mindestens so mächtig ist wie ein Orakel der SAT-Lösbarkeit.

Also habe ich Ihnen eine unberechenbare Zahl gegeben, die Sand in Ihre Zahnräder werfen sollte, und ich habe Ihnen eine CDF gegeben, die sich nur langsam berechnen lässt. Vielleicht ist die nächste naheliegende Frage: Gibt es eine CDF, die in einer effizienten Form dargestellt ist (z. B. in polynomieller Zeit ausgewertet werden kann), so dass es schwierig ist, mit dieser Verteilung Samples zu generieren? Ich kenne die Antwort darauf nicht. Ich kenne die Antwort darauf nicht.