Bayesianische Aktualisierung mit neuen Daten

Wie berechnen wir einen Posterior mit einem vorherigen N ~ (a, b), nachdem wir n Datenpunkte beobachtet haben? Ich gehe davon aus, dass wir den Stichprobenmittelwert und die Varianz der Datenpunkte berechnen und eine Art Berechnung durchführen müssen, die den hinteren mit dem vorherigen kombiniert, aber ich bin nicht ganz sicher, wie die Kombinationsformel aussieht.

Die Grundidee der Bayes'schen Aktualisierung besteht darin, dass Sie bei bestimmten Daten und einem Vorrang vor dem interessierenden Parameter θ , bei denen die Beziehung zwischen Daten und Parameter unter Verwendung der Likelihood- Funktion beschrieben wird, den Bayes'schen Satz verwenden, um den posterioren Wert zu erhalten$X$$\theta$

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

Dies kann nacheinander erfolgen, wobei nach dem Aktualisieren des ersten Datenpunkts vor θ auf posterior θ ' der zweite Datenpunkt x 2 genommen und der vor θ ' erhaltene posterior als Prior verwendet werden kann, um ihn erneut zu aktualisieren usw.$x_1$ $\theta$ $\theta'$$x_2$$\theta'$

Lassen Sie mich Ihnen ein Beispiel geben. Stellen Sie sich vor, Sie möchten den Mittelwert der Normalverteilung schätzen, und σ 2 ist Ihnen bekannt. In diesem Fall können wir das Normal-Normal-Modell verwenden. Wir nehmen für μ normale Prioritäten mit den Hyperparametern μ 0 , σ 2 0 an$\mu$$\sigma^2$$\mu$$\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

Da die Normalverteilung ein konjugierter Prior für der Normalverteilung ist, haben wir eine geschlossene Lösung, um den Prior zu aktualisieren$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

Leider sind solche einfachen Lösungen in geschlossener Form für komplexere Probleme nicht verfügbar, und Sie müssen sich auf Optimierungsalgorithmen (für Punktschätzungen unter Verwendung eines Maximum-Posteriori- Ansatzes) oder eine MCMC-Simulation verlassen.

Unten sehen Sie ein Datenbeispiel:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Wenn Sie die Ergebnisse grafisch darstellen, sehen Sie, wie sich der hintere Teil dem geschätzten Wert nähert (der wahre Wert ist durch eine rote Linie gekennzeichnet), wenn neue Daten akkumuliert werden.

Weitere Informationen finden Sie in den Dias und der konjugierten Bayes'schen Analyse des Gaußschen Verteilungspapiers von Kevin P. Murphy. Überprüfen Sie auch Werden Bayesianische Priors bei großen Stichproben irrelevant? Sie können diese Notizen und diesen Blogeintrag auch überprüfen, um eine schrittweise Einführung in die Bayes'sche Folgerung zu erhalten.

Wenn Sie ein vorheriges $P(\theta)$ und eine Wahrscheinlichkeitsfunktion , können Sie den Seitenzahn berechnen mit:$P(x \mid \theta)$

$$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$$

Da nur eine Normalisierungskonstante ist, um die Wahrscheinlichkeiten zu Eins zu addieren, können Sie schreiben:$P(x)$

$$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$$

Wobei bedeutet "ist proportional zu".$\sim$

Der Fall von konjugierten Priors (wo man oft schöne geschlossene Formeln bekommt)

Dieser Wikipedia-Artikel über konjugierte Prioren kann informativ sein. Sei ein Vektor Ihrer Parameter. Sei P ( θ ) vor Ihren Parametern. Sei P ( x ∣ θ ) die Wahrscheinlichkeitsfunktion, die Wahrscheinlichkeit der Daten, denen die Parameter gegeben sind. Der Prior ist ein konjugierter Prior für die Wahrscheinlichkeitsfunktion, wenn der Prior P ( & thgr; ) und der Posterior $\boldsymbol{\theta}$$P(\boldsymbol{\theta})$$P(\mathbf{x} \mid \boldsymbol{\theta})$$P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$

Die Tabelle der konjugierten Verteilungen kann dabei helfen, eine gewisse Intuition aufzubauen (und gibt auch einige lehrreiche Beispiele, um sich selbst durchzuarbeiten).

Dies ist das zentrale Berechnungsproblem für die Bayes'sche Datenanalyse. Es kommt wirklich auf die Daten und Distributionen an. Für einfache Fälle, in denen alles in geschlossener Form ausgedrückt werden kann (z. B. mit konjugierten Priors), können Sie den Satz von Bayes direkt verwenden. Die beliebteste Familie von Techniken für komplexere Fälle ist die Markov-Kette Monte Carlo. Einzelheiten finden Sie in einem einführenden Lehrbuch zur Bayes'schen Datenanalyse.