Wie Sie Draws bei der Berechnung mehrerer Erwartungen optimal verteilen können

Angenommen, wir möchten einige Erwartungen berechnen:

$$E_YE_{X|Y}[f(X,Y)]$$

Angenommen, wir möchten dies mithilfe der Monte-Carlo-Simulation approximieren.

$$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$$

ABER nehmen wir an, es ist teuer, Proben aus beiden Verteilungen zu ziehen, so dass wir es uns nur leisten können, eine feste Zahl . $K$

Wie sollen wir zuordnen ? Beispiele sind Ziehungen für jede Verteilung oder im Extremfall eine Ziehung für die äußere und Ziehungen für die innere Verteilung, umgekehrt usw.$K$$K/2$$K-1$

Meine Intuition sagt mir, dass es mit der Varianz / Entropie der Verteilungen relativ zueinander zu tun haben wird. Angenommen , der äußere ein Massepunkt ist, dann wird die Teilung von , die Fehler minimiert MC 1 der ziehen würde und zeichnen der . $K$$Y$$K-1$$X|Y$

Hoffentlich war das klar.

Dies ist eine sehr interessante Frage mit wenig Dokumentation in der Monte-Carlo-Literatur, außer im Zusammenhang mit Schichtung und Rao-Blackwellisation . Dies ist möglicherweise darauf zurückzuführen, dass die Berechnungen der erwarteten bedingten Varianz und der Varianz der bedingten Erwartung selten durchführbar sind.

wir zunächst an, Sie führen Simulationen aus , und für jedes simulierte Sie Simulationen aus , . Ihre Monte Carlo Schätzwert wird dann Die Die Varianz dieser Schätzung wird wie folgt zerlegt $R$$\pi_X$$x_1,\ldots,x_R$$x_r$$S$$\pi_{Y|X=x_r}$$y_{1r},\ldots,y_{sr}$

$$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$$ $$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$$ Wenn man diese Varianz minimieren möchte, ist die optimale Wahl$R=K$. Dies impliziert, dass . Außer wenn der erste Varianzterm null ist, spielt es in diesem Fall keine Rolle. Wie in den Kommentaren erläutert, ist die Annahme jedoch unrealistisch, da sie nicht die Produktion eines [oder davon ausgeht, dass dies kostenlos ist].$S=1$$K=RS$$x_r$

Nun wollen wir verschiedene Simulationskosten und die Budgetbeschränkung annehmen , was bedeutet , dass die ‚s Kosten Mal mehr zu simulieren als die ‘ s. Die obige Zerlegung der Varianz ist dann die in minimiert werden können als [die nächste ganze Zahl unter den Bedingungen und ], außer wenn in diesem Fall die erste Varianz gleich Null ist$R+aRS=b$$y_{rs}$$a$$x_r$

$$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$$ $R$ $$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$$ $R\ge 1$$S\ge 1$$R=1$ . Wenn , entspricht die minimale Varianz einem maximalen , was zu führt im aktuellen Formalismus.$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$$R$$S=1$

Beachten Sie auch, dass diese Lösung mit der symmetrischen Lösung verglichen werden sollte, wenn das innere Integral in bei und das äußere Integral gegen den Rand in (vorausgesetzt, die Simulationen sind auch in dieser Reihenfolge möglich).$X$$Y$$Y$

Eine interessante Erweiterung der Frage wäre die Berücksichtigung einer unterschiedlichen Anzahl von Simulationen für jedes simulierte , abhängig vom Wert .$S(x_r)$$x_r$$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$