Ungefährer Metropolis-Algorithmus

Vor einiger Zeit fragte Xi'an, was das Äquivalent für cdfs von MCMC für pdfs ist. Die naive Antwort wäre, den "ungefähren" Metropolis-Algorithmus in Form zu verwenden

Gegeben 1. Erzeuge 2. nimm $X^{(t)} = x^{(t)}$
$Y \sim q(y|x^{(t)})$
$X^{(t + 1)} = {\begin{cases} Y & with probability & min (\frac{F (Y + ε) - F (Y - ε)}{F (x^{(t)} + ε) - F (x^{(t)} - ε)}, 1) \\ x^{(t)} & otherwise. \end{cases}$ $X^{(t+1)} = \begin{cases} Y & \text{ with probability } & \min\left( \frac{F(Y+\varepsilon) - F(Y-\varepsilon)}{F(x^{(t)}+\varepsilon) - F(x^{(t)}-\varepsilon)} , 1 \right)\\ x^{(t)} & \text{ otherwise.} \end{cases}$

Dabei ist $F$ eine Ziel-CDF und $\varepsilon$ eine kleine Konstante. Dies ermöglicht es uns, den Metropolis-Algorithmus mit CDFs zu verwenden.

Die Frage ist: Gibt es einen Grund, warum dies tatsächlich eine schlechte Idee sein könnte?

— Tim
quelle

Hast du meine Antwort auf die Xi'an-Frage gesehen? Ich denke, wir schlagen eine ähnliche Sache vor (Sie müssen Metropolis nicht einmal verwenden, da Sie die CDF haben). Die Probleme sind am Ende meiner Antwort aufgeführt (die Kosten für die Bewertung der Näherung sind in der Anzahl der Dimensionen exponentiell).

— Lacerbi

@lacerbi danke. Ich weiß, da ich CDF habe, brauche ich es nicht, es ist nur Neugier. Etwas anderes als die Kosten?

— Tim

@ Tim: Danke für den Vorschlag. Eine mögliche Lösung, wenn mehrdimensional ist, besteht darin, durch Gibbs-Abtastung fortzufahren und Derivate jeweils in eine Richtung zu nehmen.

X

$X$

ϵ

$\epsilon$

— Xi'an

@ Xi'an ja das könnte leicht auf Gibbs, MH usw. erweitert werden

— Tim

Nein, ich verstehe nicht, warum das eine schlechte Idee ist. Es scheint mir, dass es eine natürliche (und interessante) Erweiterung ist, Proben von einer CDF zu ziehen.

Ich glaube jedoch, dass die Akzeptanz sein sollte

min (\frac{F (Y + ε) - F (Y)}{F (x^{(t)} + ε) - F (x^{(t)})}, 1)

$\min\left( \frac{F(Y+\varepsilon) - F(Y)}{F(x^{(t)}+\varepsilon) - F(x^{(t)})} , 1 \right)$

weil per definitionem

lim_{ε \to 0} \frac{F (x + ε) - F (x)}{ε} = P D F (x)

$\lim_{\varepsilon\rightarrow 0}\frac{F(x + \varepsilon) - F(x)}{\varepsilon} = PDF(x)$

Trotzdem sehe ich das zum ersten Mal. Mit einem starken Argument für die Probenahme aus einer nicht trivialen CDF könnte dies eine interessante Veröffentlichung werden.

— Jorge Leitao
quelle

Das von OP vorgeschlagene Akzeptanzkriterium wird durch den zentralen Differenzausdruck der Ableitung als motiviert. Siehe zum Beispiel math.stackexchange.com/a/888280/104295 . (Ich habe keine Ahnung, ob es einen Grund gibt zu glauben, dass eine dieser Näherungen in diesem Fall besser funktioniert).

lim_{ϵ \to 0} (F (x + ϵ) - F (x - ϵ)) / (2 ϵ)

$\lim_{\epsilon\rightarrow 0} (F(x+\epsilon) - F(x-\epsilon)) / (2\,\epsilon)$

— Juho Kokkala

@JuhoKokkala +/- Ansatz behandelt auch Grenzfälle gleichmäßig.

— Tim

Ungefährer Metropolis-Algorithmus - macht das Sinn?