Bedingte Wahrscheinlichkeit einer stetigen Variablen

Angenommen, die Zufallsvariable $U$ folgt einer stetigen Gleichverteilung mit den Parametern 0 und 10 (dh $U \sim \rm{U}(0,10)$ ).

Nun wollen wir bezeichnen A das Ereignis , dass $U$ = 5 und B den Fall , dass $U$ gleich entweder $5$ oder 6. Nach meinem Verständnis, beide Ereignisse haben null Wahrscheinlichkeit auftreten.

Wenn wir nun überlegen, zu berechnen , können wir das bedingte Gesetz , weil gleich Null ist. Allerdings sagt meine Intuition mir , dass . $P(A|B)$ $P\left( {A|B} \right) = \frac{{P\left( {A \cap B} \right)}}{{P\left( B \right)}}$ $P(B)$ $P(A|B) = 1/2$

conditional-probability continuous-data uniform

— Anfänger
quelle

Was würde Ihnen Ihre Intuition sagen, wenn

U

$U$ eine ungleichmäßige Dichte von

0.02 u, u \in (0, 10)

$0.02u, u \in (0,10)$ ?

— Dilip Sarwate

@ DilipSarwate Meine Intuition würde mir sagen, dass die Antwort eine Zahl ist, die etwas niedriger als 0,5 ist

— Noob

Antworten:

"Das Konzept einer bedingten Wahrscheinlichkeit in Bezug auf eine isolierte Hypothese, deren Wahrscheinlichkeit gleich 0 ist, ist unzulässig." A. Kolmogorov

Für kontinuierliche Zufallsvariablen, wie und , werden bedingte Verteilungen durch die Eigenschaft definiert, dass sie das ursprüngliche Wahrscheinlichkeitsmaß wiederherstellen, dh für alle messbaren Mengen , , $X$ $Y$ $A\in\mathcal{B}(\mathbf{X})$ $B\in\mathcal{B}(\mathbf{Y})$ Dies impliziert, dass die bedingte Dichte für Mengen von Maß Null willkürlich definiert wird, oder mit anderen Worten, dass die bedingte Dichte istfast überalldefiniert. Da die Menge gegen das Lebesgue-Maß null ist, können Sie sowohl als auch absolut beliebig definieren und damit die Wahrscheinlichkeit

P (X \in A, Y \in B) = \int_{B} d P_{Y} (y) \int_{B} d P_{X | Y} (x | y)

$\mathbb{P}(X\in A,Y\in B)=\int_B \text{d}P_Y(y) \int_B \text{d}P_{X|Y}(x|y)$

p_{X | Y} (x | y)

$p_{X|Y}(x|y)$

{5, 6}

$\{5,6\}$

p (5)

$p(5)$

p (6)

$p(6)$

kann einen beliebigen Wert annehmen.

P (U = 5 | U \in {5, 6})

$\mathbb{P}(U=5|U\in\{5,6\})$

Dies bedeutet nicht, dass Sie eine bedingte Dichte nicht wie im bivariaten Normalfall durch die Verhältnisformel definieren können, sondern lediglich, dass die Dichte für beide beinahe überall definiert ist und .

f (y | x) = f (x, y) / f (x)

$f(y|x)=f(x,y)\big/f(x)$

x

$x$

y

$y$

"Viele ziemlich vergebliche Auseinandersetzungen haben - zwischen sonst kompetenten Probabilisten - darüber gestritten, welches dieser Ergebnisse 'richtig' ist." ET Jaynes

Die Tatsache, dass das einschränkende Argument (wenn auf Null geht) in der obigen Antwort eine natürliche und intuitive Antwort zu geben scheint, hängt mit Borels Paradoxon zusammen . Die Wahl der Parametrisierung im Limit ist wichtig, wie das folgende Beispiel zeigt, das ich in meinen Grundkursen verwende. $\epsilon$

Nehmen Sie die bivariate Normal Was ist die bedingte Dichte von gegeben , dass ?

X, Y \overset{i.i.d.}{\sim} N (0, 1)

$X,Y\stackrel{\text{i.i.d.}}{\sim}\mathcal{N}(0,1)$ $X$ $X=Y$

Geht man von der Verbindungsdichte , die "intuitive" Antwort [proportional to] . Dies kann durch Berücksichtigung der Änderung der Variablen $\varphi(x)\varphi(y)$ $\varphi(x)^2$ wobei die Dichte

(x, t) = (x, y - x) \sim φ (x) φ (t + x)

$(x,t)=(x,y-x) \sim \varphi(x)\varphi(t+x)$

T = Y - X

$T=Y-X$

. Daher ist

φ (t / \sqrt{2}) / \sqrt{2}

$\varphi(t/\sqrt{2})/\sqrt{2}$

und

f (x | t) = \frac{φ (x) φ (t + x)}{φ (t / \sqrt{2}) / \sqrt{2}}

$f(x|t)=\dfrac{\varphi(x)\varphi(t+x)}{\varphi(t/\sqrt{2})/\sqrt{2}}$

Betrachtet man jedoch stattdessen die Änderung der Variablen

die Randdichte von

ist die Cauchy-Dichte

und die bedingte Dichte von

f (x | t = 0) = \frac{φ (x) φ (x)}{φ (0 / \sqrt{2}) / \sqrt{2}} = φ (x)^{2} \sqrt{2}

$f(x|t=0)=\dfrac{\varphi(x)\varphi(x)}{\varphi(0/\sqrt{2})/\sqrt{2}}=\varphi(x)^2\sqrt{2}$

(x, r) = (x, y / x) \sim φ (x) φ (r x) | x |

$(x,r)=(x,y/x) \sim \varphi(x)\varphi(rx)|x|$

R = Y / X

$R=Y/X$

ψ (r) = 1 / π {1 + r^{2}}

$\psi(r)=1/\pi\{1+r^2\}$

X

$X$ gegeben

ist

Daher ist

R

$R$

f (x | r) = φ (x) φ (r x) | x | \times π {1 + r^{2}}

$f(x|r)=\varphi(x)\varphi(rx)|x| \times \pi \{1+r^2\}$

Und hier liegt das „Paradox“: die Ereignisse

und

sind die gleichen wie

, aber sie führen zu unterschiedlichen bedingten Dichten auf

f (x | r = 1) = π φ (x)^{2} | x | / 2 .

$f(x|r=1)= \pi\varphi(x)^2|x|/2\,.$

R = 1

$R=1$

T = 0

$T=0$

X = Y

$X=Y$

X

$X$

— Xi'an
quelle

Das ist einfach falsch. Wenn Sie einen rigorosen Kurs in der Wahrscheinlichkeitstheorie nehmen Sie die Konditionierung auf Ereignisse vom Maße Null zu sehen ist möglich, und praktisch. Betrachten Sie einen bitivariaten Gaußschen. Jeder weiß, dass Sie bedingen können, dass die erste Variable den Wert Null annimmt, obwohl dieses Ereignis eine Wahrscheinlichkeit von Null hat. Siehe Wikipedia. en.wikipedia.org/wiki/…

— Yair Daon

Hier ist eine kontroverse Antwort:

Xi'an hat Recht, dass Sie keine Bedingungen für Ereignisse mit einer Wahrscheinlichkeit von Null festlegen können. Yair hat jedoch auch Recht, dass Sie, sobald Sie sich für einen einschränkenden Prozess entschieden haben , eine Wahrscheinlichkeit abschätzen können. Das Problem ist, dass es viele einschränkende Prozesse gibt, die zu dem gewünschten Zustand gelangen.

$(1, 11)$ $p$ $1-p$

Beachten Sie, dass viele Statistiker das Prinzip der Gleichgültigkeit nicht akzeptieren. Ich mag es, weil es meine Intuitionen widerspiegelt. Obwohl ich nicht immer sicher bin, wie ich es anwenden soll, wird es vielleicht in 50 Jahren mehr Mainstream sein?

— Neil G
quelle

[0, 10]

$[0,10]$

5

$5$

0

$0$

6

$6$

\sqrt{1 - \frac{2}{\sqrt{5}}}

$\sqrt{1-\frac{2}{\sqrt{5}}}$

@whuber: Das Flipping-Argument würde für eine Cauchy-Distribution nicht funktionieren, es sei denn, Sie haben den Modus gewechselt.

— Neil G

Sicher, es gibt viele Möglichkeiten, eine kontinuierliche Verteilung in eine andere umzuwandeln, bei der zwei Werte vertauscht werden. Tatsächlich hat Ihr "Spiegeln" nicht einmal die ursprüngliche Verteilung beibehalten. (Es hat seine Unterstützung insgesamt geändert.) Es sieht also so aus, als ob Sie nur eine Distribution durch eine andere ersetzen. Hier scheint es überhaupt kein Prinzip zu geben.

— whuber

@whuber: Es hat eine Verteilung durch eine andere ersetzt, wobei die einheitlichen Bereiche um die 5 und 6 unverändert geblieben sind - so wie ich denke, dass beim Herauszoomen versucht wird, die Dichten in den ursprünglichen Kreisen im Bertrand-Paradoxon unverändert zu lassen .

— Neil G

@whuber: Du hast recht. Ich mochte die Antwort von Potato auf eine meiner Fragen sehr. Ich persönlich denke, wenn es eine Diskrepanz zwischen Theorie und Intuition gibt, sollten wir nach neuen, vollständigeren Theorien suchen. Vielleicht ist das "Prinzip der Gleichgültigkeit" nicht ganz richtig oder im Allgemeinen nicht praktikabel, aber ich habe einen natürlichen Wunsch nach Wahrscheinlichkeitstheorie, um Fragen zu beantworten, für die wir ein intuitives Verständnis haben. Vielleicht hatte Lebesgue die gleiche Angst vor Riemanns Integration, als er sein Integral erstellte?

— Neil G

$A = [5 - \frac{\epsilon}{2} , 5 + \frac{\epsilon}{2}]$ und $B = [5 - \frac{\epsilon}{4} , 5 + \frac{\epsilon}{4}] \cup [6 - \frac{\epsilon}{4} , 6 + \frac{\epsilon}{4}]$ . Mach jetzt alles wie vorher und nimm $\epsilon \to 0$ .

Lassen Sie mich noch einmal (und noch einmal) betonen, dass die obige Methode für die Intuition verwendet wird. Das Konditionieren auf Ereignisse mit einer Wahrscheinlichkeit von Null wird sehr oft ohne viel Nachdenken durchgeführt. Das beste Beispiel, an das ich denken kann, ist wenn $(X_1, X_2) \sim \mathcal{N}(0, \Sigma)$ ist ein bivariater Gaußscher. Man betrachtet oft die Dichte von $X_1$ gegeben $X_2 = 0$ Dies ist ein Ereignis von Maß Null. Dies ist theoretisch gut begründet, aber keineswegs trivial. Zu @ Xi'ans Zitat von Kolmogorov - ich kann nur Varadhan zitieren: "Eines unserer Ziele ist es, eine Definition zu finden, die Sinn macht, wann $P(\xi = a) = 0$ "(Wahrscheinlichkeitstheorie, Vorlesungsunterlagen von Courant, Seite 74).

Also, ja, Sie können der Konditionierung von Ereignissen des Maßes Null einen Sinn geben.

— Yair Daon
quelle

Annehmen

U \sim U [0, 10]

$U\sim \text{U}[0,10]$ : das heißt, beide

0

$0$ und

10

$10$ Sind möglich. Wie würden Sie mit der Situation umgehen, wenn

A = {0}

$A=\{0\}$ und

B = {0, 6}

$B=\{0,6\}$ ? Würde

P (A | B) = 1 / 2

$P(A|B)=1/2$ (was "intuitiv" die richtige Antwort ist, weil alle Zahlen in

[0, 10]

$[0,10]$ haben die gleichen Dichten) oder vielleicht

1 / 3

$1/3$ (which a simple change of

5

$5$ to

0

$0$ in your formula would give) or even

0

$0$ ?

— whuber

@YairDaon Thank you for you answer! If I understood well, you mean to do the following: for small

ε

$\varepsilon$ , we have:

P (A | B) = \frac{P (A \cap B)}{P (B)} = \frac{\int_{5 - \frac{ε}{4}}^{5 + \frac{ε}{4}} f (u) d u}{\int_{5 - \frac{ε}{4}}^{5 + \frac{ε}{4}} f (u) d u + \int_{6 - \frac{ε}{4}}^{6 + \frac{ε}{4}} f (u) d u} = \frac{\frac{ε}{2}}{\frac{ε}{2} + \frac{ε}{2}} = 0.5

$P\left( {A|B} \right) = \frac{{P\left( {A \cap B} \right)}}{{P\left( B \right)}} = \frac{{\int\limits_{5 - \frac{\varepsilon }{4}}^{5 + \frac{\varepsilon }{4}} {f\left( u \right)du} }}{{\int\limits_{5 - \frac{\varepsilon }{4}}^{5 + \frac{\varepsilon }{4}} {f\left( u \right)du} + \int\limits_{6 - \frac{\varepsilon }{4}}^{6 + \frac{\varepsilon }{4}} {f\left( u \right)du} }} = \frac{{\frac{\varepsilon }{2}}}{{\frac{\varepsilon }{2} + \frac{\varepsilon }{2}}} = 0.5$

— Noob

@YairDaon But I think that the result is not invariant if originally we had defined A as

[5 - \frac{ε}{8}, 5 + \frac{ε}{8}]

$\left[ {5 - \frac{\varepsilon }{8},5 + \frac{\varepsilon }{8}} \right]$ (and B the same as before). In such a case the result would be

\frac{1}{8}

${\frac{1}{8}}$

— Noob

It is excellent for the intuition by showing there is no unique answer: that is the basis for Kolmogorov's statement quoted by @Xi'an. The fact you had to change your procedure to make things come out as you thought they should ought to alert you to the problems with this approach.

— whuber

The density of

X_{2}

$X_2$ given

X_{1}

$X_1$ is well-defined, contrary to the density of

X_{2}

$X_2$ given

X_{1} = 0

$X_1=0$ .

— Xi'an