Wie kann ein unsachgemäßer Vorversuch zu einer korrekten posterioren Verteilung führen?

Wir wissen, dass im Falle einer ordnungsgemäßen vorherigen Verteilung,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Die übliche Rechtfertigung für diesen Schritt ist, dass die Randverteilung von $X$ , $P(X)$ Bezug auf ; konstant $\theta$ ist und daher ignoriert werden kann, wenn die hintere Verteilung abgeleitet wird.

Woher wissen Sie jedoch, dass die posteriore Verteilung tatsächlich vorhanden ist, wenn ein falscher Prior vorliegt? In diesem scheinbar zirkulären Argument scheint etwas zu fehlen. Mit anderen Worten, wenn ich annehme, dass der hintere Teil existiert, verstehe ich die Mechanismen, wie der hintere Teil abgeleitet werden kann, aber ich vermisse anscheinend die theoretische Rechtfertigung dafür, warum er überhaupt existiert.

PS: Ich erkenne auch, dass es Fälle gibt, in denen ein unangemessener Vorlauf zu einem unangemessenen Nachlauf führt.

— jsk
quelle

Antworten:

Wir akzeptieren im Allgemeinen Posterioren von nicht korrekten Prioren wenn $\pi(\theta)$ existiert und ist eine gültige Wahrscheinlichkeitsverteilung (dh es wird genau zu 1 über den Träger integriert). Im Wesentlichen läuft dies auf

\frac{π (X ∣ θ) π (θ)}{π (X)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$

endlich. Ist dies der Fall, so nennen wir diese Größe

undakzeptierensie als die von uns gewünschte posteriore Verteilung. Es ist jedoch wichtig anzumerken, dass dies weder eine posteriore Verteilung noch eine bedingte Wahrscheinlichkeitsverteilung ist (diese beiden Begriffe sind hier synonym).

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$

π (θ ∣ X)

$\pi(\theta \mid X)$

Nun, ich sagte, wir akzeptieren "hintere" Verteilungen von unzulässigen Vorgesetzten, wenn man das oben Gesagte bedenkt. Der Grund, warum sie akzeptiert werden, liegt darin, dass das vorherige uns immer noch relative "Scores" für den Parameterraum liefert. dh das Verhältnis $\pi(\theta)$ bringt Bedeutung in unsere Analyse. Die Bedeutung, die wir in einigen Fällen von unangemessenen Priors erhalten, ist möglicherweise bei richtigen Priors nicht verfügbar. Dies ist eine mögliche Rechtfertigung für ihre Verwendung. Siehe Sergios Antwort für eine eingehendere Untersuchung der praktischen Motivation für unangemessene Vorgesetzte. $\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Es ist erwähnenswert, dass diese Größe auch wünschenswerte theoretische Eigenschaften hat, Degroot & Schervish : $\pi(\theta \mid X)$

Unsachgemäße Prioritäten sind keine wahren Wahrscheinlichkeitsverteilungen, aber wenn wir dies so tun, berechnen wir Posteriorverteilungen, die den Posterioren entsprechen, die wir unter Verwendung geeigneter konjugierter Prioritäten mit Extremwerten der vorherigen Hyperparameter erhalten hätten.

Ich bin durch ein paar Dinge in Ihrer Antwort verwirrt. Sie sagen, dass wir Nachfolger akzeptieren, wenn das oben Genannte endlich ist. Bedeutet das, wenn dieses Integral nicht endlich ist, wird der hintere nicht endlich sein? Sie scheinen auch zu implizieren, dass wir in diesem Fall den Seitenzahn verwenden, aber es ist keine echte Verteilung - stimmt das? Gibt es nicht Fälle, in denen es sich um eine echte Verteilung handelt? Und was hat das Verhältnis der Prioren damit zu tun? Ich sehe die Verbindung nicht.

— Ben Elizabeth Ward

@BenElizabethWard Wenn

existiert, muss das Integral

existieren (und somit endlich sein). Das Gegenteil trifft auch zu: Wenn

nicht existiert (unendlich ist), dann existiert

nicht. Wenn es existiert und eine gültige Wahrscheinlichkeitsverteilung ist, ist

eine Wahrscheinlichkeitsverteilung. Es ist jedoch keine posteriore Verteilung für

mit der gegebenen Datenwahrscheinlichkeit

π (θ ∣ X)

$\pi(\theta \mid X)$

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

. Der hintere Teil für diesen Prior existiert nicht. Wir akzeptieren

in unserer Analyse, weil es sich um eine Näherung handelt.

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWard Das Verhältnis wurde verwendet, um zu demonstrieren, dass der Prior noch nützliche Informationen enthält, die möglicherweise nicht in einen richtigen Prior geladen werden können. Ich werde meine Antwort bearbeiten, um dies einzuschließen.

@jsk

ist keine Wahrscheinlichkeitsverteilung, aber die Definition der posterioren Verteilung erfordert, dass

eine Wahrscheinlichkeitsverteilung ist. Es ist also ein Betrug,

eine posterioren Verteilung zu nennen, wenn es eine Wahrscheinlichkeitsverteilung ist. Degroot & Schervish sagen: "... wir berechnen posteriore Verteilungen, die ...", mit denen sie davon ausgehen, dass Sie zugestimmt haben, "so zu tun, als wären sie [die unzulässigen Priors] [richtige Priors]", wie weiter oben im Zitat angegeben.

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

Möchten Sie Ihre Antwort aktualisieren, damit zukünftige Leser diesen Kommentaraustausch nicht durchlesen müssen?

— Jsk

Es gibt eine "theoretische" und eine "pragmatische" Antwort.

Unter einem theoretischen Gesichtspunkt existiert der hintere Teil nicht, wenn ein Prior unangemessen ist (sehen Sie sich Matthews Antwort für eine fundiertere Aussage an), sondern kann durch eine einschränkende Form angenähert werden.

Umfassen die Daten eine bedingte Stichprobe aus der Bernoulli - Verteilung mit dem Parameter und hat die Beta - Verteilung mit den Parametern und , so ist die hintere Verteilung von die Beta - Verteilung mit den Parametern ( Beobachtungen, Erfolge) und sein Mittelwert ist $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ . Wenn wir die falsche (und unwirkliche) Beta-Verteilung vor früheren Hypeparametern und geben vor, dass , wir erhalten eine richtige posteriore Proportionalität zu , dh das pdf des Beta Verteilung mit Parametern bis auf einen konstanten Faktor. Dies ist die limitierende Form des Seitenzahns für ein Beta vor den Parametern und $\alpha=\beta=0$ $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ und $n-s$ $\alpha\to 0$ (Degroot & Schervish, Beispiel 7.3.13). $\beta\to 0$

In einem normalen Modell mit Mittelwert , bekannten Varianz und einer vor Verteilung für , wenn der Stand der Präzision, , ist klein gegenüber der Datengenauigkeit, , dann ist die hintere Verteilung ungefähr so, als ob : $\theta$ $\sigma^2$ $\mathcal{N}(\mu_0,\tau^2_0)$ $\theta$ $1/\tau^2_0$ $n/\sigma^2$ $\tau^2_0=\infty$ dh die posteriore Verteilung ist ungefähr diejenige, die sich aus der Annahme ergeben würde, dass proportional zu einer Konstanten für , eine Verteilung, die nicht unbedingt möglich ist, sondern die einschränkende Form des posterioren wenn sich nähert

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$

p (θ)

$p(\theta)$

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$

τ_{0}^{2}

$\tau^2_0$

existiert (Gelman et al., S. 52).

\infty

$\infty$

Unter einem "pragmatischen" Gesichtspunkt ist wenn was auch immer ist, wenn also in , dann $p(x\mid\theta)p(\theta)=0$ $p(x\mid\theta)=0$ $p(\theta)$ $p(x\mid\theta)\ne 0$ $(a,b)$ $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ $(a,b)$ $f(x)=k, x\in(-\infty,\infty)$ $f(x)=kx^{-1}, x\in(0,\infty)$ $(a,b)$ $\theta$ $\mathcal{U}(-\infty,\infty)$ $(a,b)$ $\theta\sim\mathcal{U}(a,b)$ , i.e. $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$ . For a concrete example, this is what happens in Stan: if no prior is specified for a parameter, it is implicitly given a uniform prior on its support and this is handled as a multiplication of the likelihood by a constant.

— Sergio
quelle

Can you say more about why it does not exist from a theoretical point of view?

— jsk

I couldn't expound better than Matthew in his answer and in his comments.

— Sergio

In the pragmatic section, what is y? Also in that section, should some of the

p (θ ∣ x)

$p(\theta \mid x)$ terms be the likelihood

p (x ∣ θ)

$p(x\mid \theta)$ ?

— jsk

Thanks. I Think there might be one more mistake... You write

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$ , but the prior can't depend on

x

$x$ . Do you mean

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$ ?

— jsk

Right! I've re-written that formulas as they are in Box & Tiao. I was trying to choose a homogeneous notation (e.g. Gelman uses

y

$y$ instead of

x

$x$ , DeGroot uses

ξ (.)

$\xi(.)$ for priors and posteriors etc.) but I ended up in a mess... Thanks!

— Sergio

However, in the case of an improper prior, how do you know that the posterior distribution actually exists?

The posterior might not be proper either. If the prior is improper and the likelihood is flat (because there are no meaningful observations), then the posterior equals the prior and is also improper.

Usually you have some observations, and usually the likelihood is not flat, so the posterior is proper.

— Neil G
quelle