Bayesianische Inferenz auf eine Summe von iid reellen Zufallsvariablen

Sei , , ..., iid RVs mit Bereich aber unbekannter Verteilung. (Ich kann davon ausgehen, dass die Verteilung kontinuierlich ist, falls erforderlich.) $X_1$ $X_2$ $X_n$ $[0,1]$

Definiere . $S_n = X_1 + \cdots + X_n$

Ich und frage: Was kann ich auf Bayes'sche Weise über ? $S_k$ $S_n$

Das heißt, ich erhalte die Summe einer Stichprobe der Größe der Wohnmobile und möchte wissen, was ich über die Verteilung der Summe aller Wohnmobile unter Verwendung eines Bayes'schen Ansatzes (und unter Annahme vernünftiger Prioritäten für die Wohnmobile) schließen kann Verteilung). $k$

Wenn die Unterstützung anstelle von , ist dieses Problem gut untersucht, und (mit einheitlichen Prioritäten) erhalten Sie Beta-Binomialverbindungsverteilungen für die abgeleitete Verteilung auf . Aber ich bin mir nicht sicher, wie ich es mit als Bereich angehen soll ... $\{0,1\}$ $[0,1]$ $S_n$ $[0,1]$

Vollständige Offenlegung : Ich habe dies bereits auf MathOverflow gepostet , aber es wurde mir gesagt, dass es besser ist, hier zu posten. Dies ist also eine erneute Veröffentlichung .

bayesian inference Ronald L Rivest
quelle

Ich wollte Ihnen gerade einen Kommentar zu MO schreiben, aber ich werde ihn stattdessen hier schreiben. Wenn Sie der Meinung sind, dass die Frage besser für dieses Forum geeignet ist, können Sie sie auf MO markieren und darum bitten, dass sie geschlossen wird.

Kardinal

Ich möchte eine Klarstellung Ihrer letzten Aussage. Wenn der Bereich dann scheint jede Verteilung, die eine Masse auf Werte legt, die nicht in für die Verteilung von , albern, also frage ich mich, ob ich ' Ich habe Ihr Ziel richtig verstanden. (Vielleicht wäre eine Referenz hilfreich.)

{0, 1}

$\{0,1\}$

{0, 1, \dots, n}

$\{0,1,\ldots,n\}$

S_{k}

$S_k$

Kardinal

Was habe ich falsch verstanden?

Kardinal

Interessieren Sie sich für Bayesianische Nichtparametrik? Wenn Sie keine Annahmen über die Verteilung der treffen möchten , benötigen Sie ein nicht parametrisches Framework. Aber dann, wenn man nur gibt, kann man nicht viel sagen ...

X_{k}

$X_k$

S_{k}

$S_k$

Xi'an

Das sind gute Bemerkungen; Entschuldigung, dass das Problem ein wenig durcheinander war. Ich dachte, dass n im Vergleich zu sehr groß ist und dass der Posterior auf den Posterior auf den Parametern direkt widerspiegeln würde. Vielleicht hätte ich anstelle von und nach dem Posterior auf wenn ins Unendliche geht. Ist das jetzt sinnvoll?

k

$k$

S_{n}

$S_n$

S_{n}

$S_n$

S_{n}^{'} = S_{n} / n

$S'_n = S_n/n$

lim S_{n}^{'}

$\lim S'_n$

n

$n$

Ronald L Rivest

Antworten:

Betrachten Sie die folgende nichtparametrische Bayes'sche Analyse.

Definieren Sie und lassen Sie die Borel-Teilmengen von . Sei ein endliches Maß ungleich Null über . $\mathscr{X}=[0,1]$ $\mathscr{B}$ $\mathscr{X}$ $\alpha$ $(\mathscr{X},\mathscr{B})$

Sei ein Dirichlet-Prozess mit dem Parameter und nehme an, dass bedingt iid sind, vorausgesetzt , so dass für jedes . $Q$ $\alpha$ $X_1,\dots,X_n$ $Q=q$ $\mu_{X_1}(B)=P\{X_1\in B\} = q(B)$ $B\in\mathscr{B}$

Aus den Eigenschaften des Dirichlet-Prozesses wissen wir, dass bei die prädiktive Verteilung einer zukünftigen Beobachtung wie das Maß over definiert durch $X_1,\dots,X_k$ $X_{k+1}$ $\beta$ $(\mathscr{X},\mathscr{B})$

β (B) = \frac{1}{α (X) + k} (α (B) + \sum_{i = 1}^{k} I_{B} (X_{i})) .

$\beta(B) = \frac{1}{\alpha(\mathscr{X})+k} \left( \alpha(B) + \sum_{i=1}^k I_B(X_i)\right) \, .$

Definieren Sie nun als das von erzeugte Sigma-Feld und verwenden Sie die Messbarkeit und die Symmetrie der , um fast sicher. $\mathscr{F}_k$ $X_1,\dots,X_k$ $X_i$

E [S_{n} ∣ F_{k}] = S_{k} + E [\sum_{i = k + 1}^{n} X_{i} | F_{k}] = S_{k} + (n - k) E [X_{k + 1} ∣ F_{k}],

$E\left[ S_n \mid \mathscr{F}_k \right] = S_k + E\left[ \sum_{i=k+1}^n X_i \,\Bigg\vert\, \mathscr{F}_k \right] = S_k + (n-k) E\left[ X_{k+1} \mid \mathscr{F}_k \right] \, ,$

Um eine explizite Antwort zu finden, nehme an, dass ist . Definieren , haben wir fast sicher (die gemeinsame Verteilung von ), wobei . In der "nicht informativen" Grenze von reduziert sich die frühere Erwartung auf , was bedeutet, dass in diesem Fall Ihre hintere Schätzung für nur das fache des Mittelwerts des ersten $\alpha(\cdot)/\alpha(\mathscr{X})$ $U[0,1]$ $c=\alpha(\mathscr{X})>0$

E [S_{n} ∣ X_{1} = x_{1}, \dots, X_{k} = x_{k}] = s_{k} + \frac{n - k}{c + k} (\frac{c}{2} + s_{k}),

$E\left[ S_n \mid X_1=x_1,\dots,X_k=x_k \right] = s_k + \frac{n-k}{c+k}\left(\frac{c}{2}+s_k\right) \, ,$

[μ_{X_{1}, \dots, X_{k}}]

$[\mu_{X_1,\dots,X_k}]$

X_{1}, \dots, X_{k}

$X_1,\dots,X_k$

s_{k} = x_{1} + \dots + x_{k}

$s_k=x_1+\dots+x_k$

c \to 0

$c\to 0$

n \cdot (s_{k} / k)

$n\cdot (s_k/k)$

S_{n}

$S_n$

n

$n$

k

$k$ Beobachtungen, die so intuitiv wie möglich aussehen.

Zen
quelle

Ist es auch unter diesem Modell möglich, einen schönen Ausdruck für zu erhalten?

Var [S_{n} | S_{k}]

$\text{Var}[S_n|S_k]$

Cyan

Verzeihen Sie den Mangel an Maßtheorie und den Missbrauch der Notation im Folgenden ...

Da es sich um eine Bayes'sche Folgerung handelt, muss das Problem, das in diesem Fall die Verteilung von , ein unendlich-dimensionaler Parameter sein, der Werte in der Menge der Verteilungen auf annimmt (nennen Sie es ). Die Datenverteilung konvergiert gegen eine Normalverteilung. Wenn also groß genug ist ( Berry-Esseen-Theorem ), können wir diese Normalen nur als Annäherung einschlagen. Wenn die Näherung genau ist, ist der einzige Aspekt des vorherigen , der in praktischer Hinsicht von Bedeutung ist, der induzierte Prior von . $X_1$ $[0, 1]$ $\pi$ $S_k|\pi$ $k$ $p(\pi)$ $(\text{E}_\pi(X_1),\text{Var}_\pi(X_1))=(\mu,\sigma^2)$

Jetzt machen wir eine Standard-Bayes'sche Vorhersage und geben die ungefähren Dichten ein. ( unterliegt der gleichen Annäherung wie .) $S_n$ $S_k$

$p(S_n|S_k) = \int p(\pi|S_k)p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) = \int \frac{p(\pi)p(S_k|\pi)}{p(S_k)}p(S_n|\pi,S_k)d\pi$

$p(S_n|S_k) \approx \frac{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2)\text{N}(S_n|(n-k)\mu + S_k, (n-k)\sigma^2) d(\mu,\sigma^2)}{\int p(\mu,\sigma^2)\text{N}(S_k|k\mu,k\sigma^2) d(\mu,\sigma^2)}$

Für die Grenzen des Integrals ist offensichtlich; Ich denke ? $\mu \in [0, 1]$ $\sigma^2 \in [0,\frac{1}{4}]$

Später hinzugefügt: nein,Das ist schön - die zulässigen Werte von hängen von , daher sind Informationen in den Daten zu für relevant . $\sigma^2 \in [0,\mu(1-\mu)].$ $\sigma^2$ $\mu$ $\mu$ $\sigma^2$

Cyan
quelle

Ich verstehe Ihren Hauptabsatz nicht. Erstens erfolgt die Konvergenz zu einer Normalen erst nach einer Verschiebung und Neuskalierung von und dies erfolgt nicht nach dem Berry-Esseen-Theorem (das ein Theorem über die Konvergenzrate zur Normalität ist), sondern nach der CLT. Darüber hinaus hängen Verschiebung und Neuskalierung von dem jeweiligen festen Parameter ab. Haben Sie sich einen Fall angesehen, in dem Sie beispielsweise einen Drei-Punkte-Prior gleichmäßig auf ?

S_{n}

$S_n$

{0, 1 / 2, 1}

$\{0,1/2,1\}$

Kardinal

Lassen Sie mich klarstellen, dass ich mit "normal" nicht "normal normal" meine. Die Verschiebung und Neuskalierung ändern also den Mittelwert und die Varianz, aber die Konvergenz ist immer noch ein Element in der Familie der Normalverteilungen. Ich wollte, dass der Link zum Berry-Esseen-Theorem auf den Ausdruck "wenn groß genug ist" verweist ; Die aktuelle Platzierung ist ein Fehler beim Ausschneiden und Einfügen, und ich werde ihn ändern. Ich verstehe Ihre Frage zum festen Parameter nicht - können Sie die Frage klären?

k

$k$

Cyan

Betreff: Kardinals Frage. Beachten Sie, dass der Prior eine Verteilung auf Verteilungen mit Unterstützung in . Wenn ich Ihre Frage wörtlich nehme, fragen Sie nach einem Prior, der drei konstante Zufallsvariablen unterstützt , was trivial zu analysieren ist. Aber da Sie in einem anderen Kommentar geschrieben haben: "Wenn der Bereich dann scheint jede Verteilung, die Werte auf Werte setzt, die nicht in für die Verteilung von , albern." Ich denke, Sie ' Fragen Sie nach diskreten Datenverteilungen. Die kurze Antwort lautet: "Nein, es ist nicht albern." Fortsetzung ...

[0, 1]

$[0, 1]$

0, 1

${0,1}$

0, 1, \dots, n

${0,1,…,n}$

S_{k}

$S_k$

Cyan

Es ist in Ordnung, eine diskrete Verteilung mit einer kontinuierlichen zu approximieren .

Cyan

Ich denke, hier gibt es mehrere Probleme: (a) Die Fragestellung könnte etwas verfeinert werden, um das Endziel zu klären. (B) Die Frage, Kommentare und Antworten wurden leider durch versehentliche Tippfehler, Berechnungsfehler und mehrere Gesprächsthemen durcheinander gebracht und (c) meine oben genannten Kommentare scheinen ein wenig aus dem Zusammenhang gerissen zu sein. Meine Aussage zu (Tippfehler: hätte ) betrifft die posteriore Verteilung von gegebenem . Wenn ich kenne jede hintere Verteilung, die nicht ihre gesamte Masse dort platziert, unzulässig sein.

S_{k}

$S_k$

S_{n}

$S_n$

S_{n}

$S_n$

S_{k}

$S_k$

S_{n} \in {S_{k}, \dots, n}

$S_n \in \{S_k,\ldots,n\}$

Kardinal

Jedes gehöre zur Verteilungsfamilie und habe Parameter . $X_i$ $F$ $\theta$

Gegeben, , wir haben eine Verteilung auf : $S_k$ $\theta$

\begin{aligned} Pr (θ ∣ S_{k}) & = \frac{1}{Z} Pr (θ) Pr (S_{k} ∣ θ) \end{aligned}

$\begin{align} \Pr(\theta \mid S_k) &= \frac1Z \Pr(\theta)\Pr(S_k \mid \theta) \end{align}$

Und unsere Verteilung auf , ist $S_n$ $n \ge k$

\begin{aligned} Pr (S_{n} = i ∣ S_{k}) & = Pr (S_{n - k} = i - S_{k} | S_{k}) \\ = \int Pr (S_{n - k} = i - S_{k} | θ) Pr (θ ∣ S_{k}) d θ \end{aligned}

$\begin{align} \Pr(S_n = i \mid S_k) &= \Pr(S_{n-k} = i - S_k | S_k) \\ &= \int \Pr(S_{n-k} = i - S_k | \theta)\Pr(\theta \mid S_k)d\theta \\ \end{align}$

(und ähnlich für ) $n < k$

Beide Gleichungen haben schöne Formen, wenn eine Verteilung in der Exponentialfamilie ist, die unter Summation von iid-Elementen wie der Normalverteilung, der Gammaverteilung und der Binomialverteilung geschlossen wird. Es funktioniert auch für ihre Sonderfälle wie die Exponentialverteilung und die Bernoulli-Verteilung. $F$

Es könnte interessant sein zu betrachten, dass die Familie der skalierten (durch ) Binomialverteilungen mit bekannten "Versuchen" ist und die Grenze nimmt, wenn gegen unendlich geht. $F$ $\frac1n$ $n$ $n$

Neil G.
quelle