Kann ich bei jeder MCMC-Iteration einen großen Datensatz unterabtasten?

Problem: Ich möchte eine Gibbs-Stichprobe durchführen, um einen posterioren Wert über einen großen Datensatz abzuleiten. Leider ist mein Modell nicht sehr einfach und daher ist die Abtastung zu langsam. Ich würde Variations- oder Parallelansätze in Betracht ziehen, aber bevor ich so weit gehe ...

Frage: Ich möchte wissen, ob ich bei jeder Gibbs-Iteration zufällig (mit Ersetzung) aus meinem Datensatz eine Stichprobe ziehen kann, damit ich bei jedem Schritt weniger Instanzen habe, aus denen ich lernen kann.

Meine Intuition ist, dass selbst wenn ich die Stichproben ändere, ich die Wahrscheinlichkeitsdichte nicht ändern würde und daher die Gibbs-Stichprobe den Trick nicht bemerken sollte. Habe ich recht? Gibt es Hinweise darauf, dass Menschen dies getan haben?

— alberto
quelle

Nebenbei: Eine andere Idee wäre, mehrere Analysen an zufälligen Teilstichproben des großen Datensatzes durchzuführen. Auf diese Weise können Sie auch eine Kreuzvalidierung durchführen.

— Vermutungen

Ich kann Ihre genaue Frage mit keiner Autorität beantworten (obwohl ich den Verdacht habe, dass Sie nur den mit Monte Carlo verbundenen Approximationsfehler erhöhen würden), ist die traurige Wahrheit, dass dies nur ein unglücklicher Aspekt der Bayes'schen MCMC-Analysen ist: Sie sind rechnerisch teuer. @conjectures Kommentar ist eine großartige Idee, aber nicht wirklich der Kern des Problems: Es ist zu teuer, alle diese Stichproben für jede Person zu zeichnen. Meine Empfehlung ist, einen eigenen C-Code für die schwere Arbeit zu schreiben (Rcpp in R, Cython in Python usw.) und auch zu parallelisieren (wenn keine Verzweigungsabhängigkeiten bestehen).

@conjectures Das klingt nach Michael Jordans Tasche mit kleinen Bootstraps.

— Jaradniemi

Ich würde vorschlagen, Ihren Sampler zu ändern, um die latente Variablenvergrößerung insgesamt zu vermeiden. Sie haben keinen Gibbs-Sampler mehr, aber ein Metropolis-Hastings-Algorithmus mit einem Vorschlag, der auf einer normalen Annäherung an die Wahrscheinlichkeit basiert, sollte einwandfrei funktionieren. Siehe Abschnitt 16.4 der 2. Ausgabe der Bayesian Data Analysis.

— Jaradniemi

Dies ist ein Bereich aktiver Forschung, den ich nicht gut genug kenne, um ihn genau zusammenzufassen. Siehe zum Beispiel jmlr.org/proceedings/papers/v32/bardenet14.pdf und arxiv.org/pdf/1304.5299v4.pdf

— Andrew M

$X_1 \sim N(\mu_1, \sigma_1^2)$ $X_2 \sim N(\mu_2,\sigma_2^2)$ $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$

f (θ | X_{1}, X_{2}) \propto f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$

δ \sim B (0.5)

$\delta \sim B(0.5)$

δ = 0

$\delta=0$

X_{1}

$X_1$

δ = 1

$\delta =1$

X_{2}

$X_2$

f (θ, δ | X_{1}, X_{2}) \propto f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$

f (δ) = 0.5

$f(\delta) = 0.5$

δ

$\delta$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$

δ^{*}

$\delta^*$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

f (X_{1} | θ)

$f(X_1|\theta)$

f (X_{2} | θ)

$f(X_2|\theta)$

δ

$\delta$

δ

$\delta$

— niandra82
quelle