Wie Sie Draws bei der Berechnung mehrerer Erwartungen optimal verteilen können

Angenommen, wir möchten einige Erwartungen berechnen:

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Angenommen, wir möchten dies mithilfe der Monte-Carlo-Simulation approximieren.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

ABER nehmen wir an, es ist teuer, Proben aus beiden Verteilungen zu ziehen, so dass wir es uns nur leisten können, eine feste Zahl . $K$

Wie sollen wir zuordnen ? Beispiele sind Ziehungen für jede Verteilung oder im Extremfall eine Ziehung für die äußere und Ziehungen für die innere Verteilung, umgekehrt usw. $K$ $K/2$ $K-1$

Meine Intuition sagt mir, dass es mit der Varianz / Entropie der Verteilungen relativ zueinander zu tun haben wird. Angenommen , der äußere ein Massepunkt ist, dann wird die Teilung von , die Fehler minimiert MC 1 der ziehen würde und zeichnen der . $K$ $Y$ $K-1$ $X|Y$

Hoffentlich war das klar.

— wolfsatthedoor
quelle

Es wurde für Sie

— behoben

Das "Umgekehrte" und Ihr Kommentar zur Antwort von @ Xi'ans scheinen darauf hinzudeuten, dass Sie es für möglich halten, die äußere Variable öfter als die innere Variable zu zeichnen, aber wie könnte das Sinn machen - sind nicht alle Ausreißer für welche Innereien werden verschwendet gezogen?

0

$0$

— Juho Kokkala

Fair genug, mindestens ein Unentschieden pro Außen, denke ich. Oder Sie könnten daran denken, es zu programmieren, um die Auslosung zu speichern, nehme ich an

— wolfsatthedoor

@robertevansanders Bitte bestätigen Sie, ob die Interpretation Ihrer Frage in den ersten beiden Sätzen der Antwort von Xi'ans korrekt ist

— Juho Kokkala

Wie du gesagt hast, ja, aber

— wechsle

Dies ist eine sehr interessante Frage mit wenig Dokumentation in der Monte-Carlo-Literatur, außer im Zusammenhang mit Schichtung und Rao-Blackwellisation . Dies ist möglicherweise darauf zurückzuführen, dass die Berechnungen der erwarteten bedingten Varianz und der Varianz der bedingten Erwartung selten durchführbar sind.

wir zunächst an, Sie führen Simulationen aus , und für jedes simulierte Sie Simulationen aus , . Ihre Monte Carlo Schätzwert wird dann Die Die Varianz dieser Schätzung wird wie folgt zerlegt $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ Wenn man diese Varianz minimieren möchte, ist die optimale Wahl

R = K

$R=K$ . Dies impliziert, dass . Außer wenn der erste Varianzterm null ist, spielt es in diesem Fall keine Rolle. Wie in den Kommentaren erläutert, ist die Annahme jedoch unrealistisch, da sie nicht die Produktion eines [oder davon ausgeht, dass dies kostenlos ist].

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Nun wollen wir verschiedene Simulationskosten und die Budgetbeschränkung annehmen , was bedeutet , dass die ‚s Kosten Mal mehr zu simulieren als die ‘ s. Die obige Zerlegung der Varianz ist dann die in minimiert werden können als [die nächste ganze Zahl unter den Bedingungen und ], außer wenn in diesem Fall die erste Varianz gleich Null ist $R+aRS=b$ $y_{rs}$ $a$ $x_r$

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$ . Wenn , entspricht die minimale Varianz einem maximalen , was zu führt im aktuellen Formalismus.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Beachten Sie auch, dass diese Lösung mit der symmetrischen Lösung verglichen werden sollte, wenn das innere Integral in bei und das äußere Integral gegen den Rand in (vorausgesetzt, die Simulationen sind auch in dieser Reihenfolge möglich). $X$ $Y$ $Y$

Eine interessante Erweiterung der Frage wäre die Berücksichtigung einer unterschiedlichen Anzahl von Simulationen für jedes simulierte , abhängig vom Wert . $S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Xi'an
quelle

In der endgültigen Schlussfolgerung scheinen Sie anzunehmen, aber in der Einstellung der Frage da auch Ziehungen der äußeren Variablen gezählt werden sollen. Das Ergebnis hier besagt, dass wenn die äußere Variable frei abgetastet werden sollte, man natürlich für jede innere eine neue äußere abtasten sollte. (Auch die Rolle von und wird hier im Vergleich zur Frage vertauscht, aber das spielt natürlich keine Rolle).

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

— Juho Kokkala

Ja, aber wir können den Wert von bestimmen ... Betrachten Sie die entartete Einstellung, bei der die äußere Var als konstant ist. Es ist besser, die Konstante einmal und mal abzutasten, als die Konstante mal und mal (was würde bedeuten)? Oder verstehe ich die Frage völlig falsch? (Ich habe erst jetzt den zweiten Satz Ihres Kommentars gelesen - ist nicht die Annahme in der Frage, dass sie die gleichen Kosten haben)

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

— Juho Kokkala

@ Xi'an ja Kolkata ist richtig, deine Lösung kann im Allgemeinen nicht halten. Angenommen, die innere Variable hat eine entartete Verteilung und die äußere eine bedeutende Varianz, dann möchten Sie so wenig innere

— Züge

Ich denke, deine Antwort kann nicht richtig sein. Angenommen, die innere Verteilung ist entartet und die äußere ist eine große Varianz. Wie kann S 1 sein

— Wolfsatthedoor

@robertevansanders: Wenn die innere Verteilung entartet ist, ist , daher und wir wählen die nächste ganze Zahl unter die Bedingungen und , was bedeutet, dass , um so nah wie möglich an .

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$

— Xi'an