Muss der Bayesianische Seitenzahn eine richtige Verteilung sein?

Ich weiß, dass Priors nicht richtig sein müssen und dass die Likelihood-Funktion auch nicht zu 1 integriert wird. Aber muss der posterior eine korrekte Verteilung sein? Was sind die Implikationen, wenn es nicht ist / ist?

(Es ist etwas überraschend, die vorherigen Antworten zu lesen, die sich auf die potenzielle Unangemessenheit des Seitenzahns konzentrieren, wenn der Prior richtig ist, da, soweit ich das beurteilen kann, die Frage lautet, ob der Seitenzahn richtig sein muss oder nicht ( dh zu einem integrierbar, um ein richtiger (dh für Bayes'sche Folgerung akzeptabler) Posterior zu sein.

In Bayes - Statistik, die a posteriori Verteilung hat eine Wahrscheinlichkeitsverteilung sein, von dem man Momente wie die hinteren Mittel ableiten und Wahrscheinlichkeitsangaben wie die Abdeckung eines glaubwürdigen Bereichs, P ( π ( θ | x ) > κ | x ) . Wenn ∫ f ( x | θ $\mathbb{E}^\pi[h(\theta)|x]$$\mathbb{P}(\pi(\theta|x)>\kappa|x)$ das hintere π ( θ |

$$\int f(x|\theta)\,\pi(\theta)\,\text{d}\theta = +\infty\,,\qquad (1)$$ kann nicht zu einer Wahrscheinlichkeitsdichte normiert werden, und eine Bayes'sche Folgerung kann einfach nicht durchgeführt werden. Der posterior existiert in solchen Fällen einfach nicht.$\pi(\theta|x)$

Tatsächlich muss (1) für alle im Probenraum gelten und nicht nur für das beobachtete x , da sonst die Auswahl des Prior von den Daten abhängen würde . Dies bedeutet, dass Priors wie Haldanes Prior π ( p ) ∝ { 1 / p ( 1 - p ) } zur Wahrscheinlichkeit p eines Binoms oder einer negativen Binomialvariablen X nicht verwendet werden können, da der Posterior nicht für x = definiert ist 0 .$x$ $x$$\pi(p)\propto \{1/p(1-p)\}$$p$$X$$x=0$

Ich kenne eine Ausnahme, wenn man von "unsachgemäßen Nachkommen" sprechen kann: Sie ist in "The Art of Data Augmentation" von David van Dyk und Xiao-Li Meng zu finden. Das falsche Maß liegt über einem sogenannten Arbeitsparameter so dass die Beobachtung durch den Rand einer erhöhten Verteilung f ( x | θ ) = ∫ T ( x aug ) = x f ( x aug | θ $\alpha$ und van Dyk und Meng setzendiesem Arbeitsparameter α ein falsches vorangestelltes p ( α ) , um die Simulation von π ( θ | x ) zu beschleunigen

$$f(x|\theta)=\int_{T(x^\text{aug})=x} f(x^\text{aug}|\theta,\alpha)\,\text{d}x^\text{aug}$$ $p(\alpha)$$\alpha$$\pi(\theta|x)$ (die als Wahrscheinlichkeitsdichte gut definiert bleibt) durch MCMC .

In einer anderen Perspektive, die etwas mit der Antwort von eretmochelys zu tun hat , nämlich einer Perspektive der Bayes'schen Entscheidungstheorie , könnte eine Einstellung, in der (1) auftritt, noch akzeptabel sein, wenn sie zu optimalen Entscheidungen führt. Wenn nämlich eine Verlustfunktion ist, die die Auswirkung der Verwendung der Entscheidung δ bewertet , ist eine Bayes'sche optimale Entscheidung unter dem vorherigen π durch δ $L(\delta,\theta)\ge 0$$\delta$$\pi$ und alles, was zählt, ist, dass dieses Integral nicht überall (in δ ) unendlich ist. Ob (1) gilt oder nicht, ist für die Herleitung von δ ⋆ ( x ) zweitrangig , obwohl Eigenschaften wie Zulässigkeit nur dann garantiert sind, wenn (1) gilt.

$$\delta^\star(x)=\arg\min_\delta \int L(\delta,\theta) f(x|\theta)\,\pi(\theta)\,\text{d}\theta$$ $\delta$$\delta^\star(x)$

Die hintere Verteilung muss nicht richtig sein, auch wenn der Prior richtig ist. Angenommen, hat ein Gamma vor Form 0.25 (was richtig ist) und wir modellieren unser Datum x, wie es aus einer Gaußschen Verteilung mit dem Mittelwert Null und der Varianz v gezogen wird . Angenommen, es wird beobachtet, dass x Null ist. Dann ist die Wahrscheinlichkeit p ( x | v ) proportional zu v - 0,5 , was die posteriore Verteilung für v ungenau macht, da sie proportional zu ist$v$$x$$v$$x$$p(x|v)$$v^{-0.5}$$v$$v^{-1.25} e^{-v}$. Dieses Problem entsteht aufgrund der verrückten Natur kontinuierlicher Variablen.

Definieren der Menge wir P r ( X ∈ Bogus-Daten ) = ∫ Bogus-Daten ∫ f ( x ∣ θ

$$\text{Bogus Data} = \left\{ x:\int f(x\mid \theta)\,\pi(\theta)\,d\theta = \infty \right\} \, ,$$ Das letzte Integral ist gleich ∞, wenn das Lebesgue-Maß für Bogus Data positiv ist. Dies ist jedoch unmöglich, da dieses Integral Ihnen eine Wahrscheinlichkeit gibt (eine reelle Zahl zwischen 0 und 1 ). Daraus folgt, dass das Lebesgue-Maß für Bogus-Daten gleich 0 ist , und natürlich folgt daraus auch, dass P r ( X ∈ Bogus-Daten ) = 0 ist . $$\mathrm{Pr}\left(X\in\text{Bogus Data}\right) = \int_\text{Bogus Data} \int f(x\mid \theta)\,\pi(\theta)\,d\theta\,dx = \int_\text{Bogus Data} \infty\,dx \, .$$ $\infty$$\text{Bogus Data}$$0$$1$$\text{Bogus Data}$$0$$\mathrm{Pr}\left(X\in\text{Bogus Data}\right)=0$

In Worten: Die vorhergehende prädiktive Wahrscheinlichkeit derjenigen Stichprobenwerte, die den posterioren falsch machen, ist gleich Null.

Moral der Geschichte: Vorsicht vor Nullsätzen, sie können beißen, wie unwahrscheinlich es auch sein mag.

PS Wie von Prof. Robert in den Kommentaren ausgeführt, wird diese Argumentation zunichte gemacht, wenn der Prior nicht korrekt ist.

Jede "Verteilung" muss sich zu 1 summieren (oder integrieren). Ich kann mir einige Beispiele vorstellen, bei denen man mit nicht normalisierten Verteilungen arbeiten könnte, aber es ist mir unangenehm, jemals etwas zu nennen, das zu etwas anderem als einer "Verteilung" marginalisiert.

$x$$d$

$$\begin{align} \hat{x} &= \arg \max_x P_{X|D}(x|d) \\ &= \arg \max_x \frac{P_{D|X}(d|x) P_X(x)}{P_D(d)} \\ &= \arg \max_x {P_{D|X}(d|x) P_X(x)} \end{align}$$

$P_D$$x$$\hat{x}$$P_{D|X}(d|x) P_X(x)$

Eine unsachgemäße posteriore Verteilung tritt nur auf, wenn Sie eine unsachgemäße vorherige Verteilung haben. Dies impliziert, dass die asymptotischen Ergebnisse nicht zutreffen. Betrachten Sie als Beispiel ein Binomial aus$n$ Erfolg und 0 Fehler, falls verwendet $Beta(0,0)$wie die vorherige Verteilung, dann ist der hintere unpassend. In dieser Situation ist es am besten, an eine ordnungsgemäße vorherige Verteilung zu denken, um Ihre nicht ordnungsgemäße vorherige Verteilung zu ersetzen.