Leiten Sie P (C | A + B) aus den beiden Regeln von Cox ab

9

Ich arbeite mich durch ET Jaynes 'Buch Probability Theory - The Logic of Science (Selbststudium)

Ursprüngliches Problem

In Übung 2.1 heißt es: "Ist es möglich, eine allgemeine Formel für analog zu [der Formel ] aus den Produkt- und Summenregeln. Wenn ja, leiten Sie es ab; wenn nicht, erklären Sie, warum dies nicht möglich ist. " $p(C|A+B)$ $p(A+B|C)=p(A|C)+p(B|C)-p(AB|C)$

Givens

Die Regeln, mit denen ich arbeiten muss, sind:

$p(AB | C) = p(A|C)p(B|AC) = p(B|C)p(A|BC)$ und $p(A|B)+p(\bar{A}|B)=1$

Wo wir auch logische Identitäten verwenden können, um Sätze zu manipulieren. Zum Beispiel: $A+B=\overline{\bar{A}\bar{B}}$

Annahme der Lösbarkeit

Ich glaube, es muss möglich sein, weil er später keine anderen Regeln einführt und eine einfache logische Kombination von Aussagen, die nicht leicht auszudrücken war, Jaynes 'zentrale These zunichte machen würde. Ich konnte die Regel jedoch nicht ableiten.

Mein Versuch

Um mich nicht zu verwirren, weil ich dieselben Variablennamen wie die angegebenen verwende, löse ich das Problem wie folgt:

Leiten Sie eine Formel für $p(X|Y+Z)$

Einführung einer Tautologie zur Konditionierung

Mein bisher bester Versuch, es zu lösen, war die Einführung eines Satzes der immer wahr ist. Somit kann ich als umschreiben (da Wahrheit die multiplikative Identität ist). $W$ $Y+Z$ $(Y+Z)W$

Dann kann ich schreiben:

$p(X|Y+Z)=p(X|(Y+Z)W)$

Wenn ich also eine der Gegebenheiten als Bayes-Regel umschreibe: , kann ich schreiben: $p(A|BC)=\frac{p(B|AC)p(A|C)}{p(B|C)}$

$p(X|(Y+Z)W)=\frac{p(Y+Z|XW)p(X|W)}{p(Y+Z|W)}=\frac{p(Y+Z|X)p(X|W)}{p(Y+Z|W)}$

Warum das nicht funktioniert

Der Term ist leicht zu behandeln. (Auf seine Erweiterung wird in der Problemdefinition Bezug genommen.) $p(Y+Z|X)$

Ich weiß jedoch nicht, was ich mit und . Es gibt keine logische Transformation, die ich anwenden kann, um das loszuwerden , und ich kann mir auch keine Möglichkeit vorstellen, die gegebenen Regeln anzuwenden, um dorthin zu gelangen. $p(X|W)$ $p(Y+Z|W)$ $W$

Andere Orte, die ich gesucht habe

Ich habe eine Google-Suche durchgeführt, bei der diese Forenseite angezeigt wurde . Aber der Autor macht das Gleiche, was ich versucht habe, ohne die Schwierigkeiten zu sehen, die ich mit der resultierenden Konditionierung der eingeführten Tautologie habe.

Ich suchte auch auf stats.stackexchange.com nach "Jaynes" und auch nach "Übung 2.1", ohne nützliche Ergebnisse zu finden.

— Gleichnamig
quelle

Ich denke nicht, dass dies einer eigenen Antwort würdig ist, aber ich denke, was Sie haben, ist richtig, und Jaynes hat erwartet, dass Sie es sich einfallen lassen. Sie können davon ausgehen, dass immer wahr ist. Und die nächste Frage, die er stellt, betrifft den allgemeineren Fall von , in dem er Sie auffordert, die allgemeinere Form des Bayes-Theorems zu beweisen. (Dies ist Jahre, nachdem diese Frage gestellt wurde, aber ich steckte im selben Teil fest. Ich hoffe, dieser Kommentar hilft anderen)

W

$W$

p (C | (A_{1} + A_{2} + . . . + A_{n}) W)

$p(C|(A_1 + A_2 + ... + A_n)W)$

— William Oliver

3

Ich bin nicht sicher, was Jaynes als analog zu ansieht, aber die Schüler haben fröhlich verwendet eine oder mehrere der folgenden Angaben zu Hausaufgaben und Prüfungen: Glaubst du, dass eines davon richtig ist? $P(A\cup B \mid C) = P(A \mid C) + P(B \mid C) - P(AB \mid C)$

\begin{aligned} P (A ∣ B \cup C) & = P (A ∣ B) + P (C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (C) - P (A C) \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C), \\ P (A ∣ B \cup C) & = P (A ∣ B) + P (A ∣ C) - P (A ∣ B C), \\ P (A ∣ B \cup C) & = P (A B ∣ B \cup C) + P (A C ∣ B \cup C) - P (A B C ∣ B \cup C) . \end{aligned}

$\begin{align*} P(A\mid B \cup C) &= P(A \mid B) + P(C)\\ P(A\mid B \cup C) &= P(A \mid B) + P(C) - P(AC)\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C),\\ P(A\mid B \cup C) &= P(A \mid B) + P(A \mid C) - P(A \mid BC),\\ P(A\mid B \cup C) &= P(AB \mid B\cup C) + P(AC \mid B \cup C) - P(ABC \mid B\cup C). \end{align*}$

Hinweis: Wenn Sie meinen (jetzt gelöschten) Kommentar in einen Nachtrag zu meiner Antwort ändern, erlauben die Regeln die folgenden Manipulationen: Die erste stellt Anlage auf eine Teilmenge von , aber nicht beseitigt Anlage auf . Die zweite nicht beseitigt auch nicht Anlage auf . Manipulationen von immer Terme der Form , und kann nicht in Form von ausgedrückt werden , , usw. ohne eingeschlossene Wahrscheinlichkeiten $P(AB \mid C) = P(A\mid C)P(B \mid AC); P(A \mid C) = 1 - P(A^c \mid C).$ $C$ $C$ $C$ $P(A\mid B \cup C)$ $P(X\mid B \cup C)$ $P(A\mid B \cup C)$ $P(A \mid B)$ $P(A \mid C)$ $P(A \mid BC)$ $B \cup C$ auch.

— Dilip Sarwate
quelle

Ich mag keinen von ihnen. Ich denke, die letzte Antwort ist technisch korrekt, aber sie beseitigt nicht die Konditionierung, die ich zu entfernen versuche, da alle Begriffe immer noch eine Funktion von gegebenem .

A

$A$

B \cup C

$B \cup C$

— Gleichnamig

@Eponymous Aber beachte, dass Jaynes in dem Ausdruck, den du emulieren willst, nämlich. , die Konditionierung bleibt durchgehend aufDie Frage läuft also darauf hinaus, was Jaynes als analog ansieht. Meine letzte "Identität" ist eine wahre Aussage und hat auf beiden Seiten eine Konditionierung auf dasselbe Ereignis, genau wie Jaynes ' tut

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$

C

$C$

P (A \cup B ∣ C) = P (A ∣ C) + P (B ∣ C) - P (A B ∣ C)

$P(A\cup B\mid C) =P(A\mid C) + P(B\mid C) − P(AB\mid C)$

— Dilip Sarwate

In Jaynes 'Rahmen müssen Sie immer von etwas abhängig sein. ist für alle undefiniert . Daher ist eine Konditionierung auf einen einzelnen Begriff unvermeidlich. Mein Verständnis des Problems ist, dass ich irgendwie in Dinge zerlegen muss , die natürlicher / einfacher zu berechnen sind, und im Idealfall den insgesamt entfernen muss (obwohl er möglicherweise nicht entfernbar ist). Ich sehe deine letzte Identität nicht so.

P (X)

$P(X)$

X

$X$

P (A | B \cup C)

$P(A|B \cup C)$

\cup

$\cup$

— Gleichnamiger

@ Dilip Ich glaube nicht, dass irgendetwas mit deiner Antwort falsch ist, und ich denke, dass es eine Menge (besonders das letzte bisschen) gibt, die ganz richtig sind (+1). Ohne ein Lösungshandbuch (von dem ich glaube, dass es es überhaupt nicht gibt) können wir nie wissen, was Jaynes dachte. Aber ich glaube , du hast Recht , dass die endgültige Antwort sollte Anlage den ganzen Weg durch, und was scheint die natürliche Vorbereitungsereignis zu sein wäre: .

A \cup B

$A \cup B$

2

Bei Problemen wie diesem ist es manchmal hilfreich, weniger über die Formeln nachzudenken und stattdessen ein Bild zu zeichnen (in diesem Fall ein Venn-Diagramm).

Geben Sie hier die Bildbeschreibung ein

Starren Sie nun auf das Bild und versuchen Sie zu visualisieren, was darstellt. Wenn Sie es aus dem Bild auswählen können, werden Sie feststellen, dass es mehrere gültige Möglichkeiten gibt, es zu schreiben (zwei Möglichkeiten, die mir sofort in den Sinn kommen). Wenn Sie immer noch nicht weiterkommen, versuchen Sie, zum üblichen Beweis der normalen allgemeinen Additionsregel zurückzukehren, um Hinweise zu erhalten. $P(C | A \cup B)$

Denken Sie daran: Eine bedingte Wahrscheinlichkeit konzentriert ihre gesamte Wahrscheinlichkeitsmasse auf das Konditionierungsereignis (in diesem Fall ). Die Idee ist, sich auf die Orte zu konzentrieren, an denen dieses Ereignis schneidet. $A \cup B$ $C$

Der R-Code für die Figur lautet übrigens

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

Wie hilft dies beim Schreiben einer Formel, die nur die Regeln von Jaynes verwendet? Wir sollen nur die beiden vom OP festgelegten Regeln anwenden.

— Dilip Sarwate

1

@ Dilip Ich denke, der schwierigste Teil dieses Jaynes-Problems ist, dass er die Formel, für die geschossen werden soll, nicht explizit angegeben hat. Aber das Diagramm ermöglicht es uns, mögliche Formeln zu sehen, die in Heck eine Chance haben, gültig zu sein, und ja, die, an die ich denke, kann nur mit den Produkt- und Summenregeln bewiesen werden (tatsächlich hat Jaynes dies im Absatz sofort getan Fortsetzung der ursprünglichen Übung!).

@ Jay Das Problem ist, wie ich in den Kommentaren zu meiner eigenen Antwort ausgeführt habe, dass alles in einer Formel für notwendigerweise auf konditioniert werden muss . Andererseits beweist Jaynes 'Text, wie Sie sagen, die bedingte Version des bekannten Ergebnisses: . Es ist leicht, das konditionierte Ereignis auseinanderzubrechen, nicht so für das Konditionierungsereignis .

P (C ∣ A \cup B)

$P(C \mid A\cup B)$

A \cup B

$A\cup B$

P (A \cup B) = P (A) + P (B) - P (A B)

$P(A \cup B) = P(A) + P(B) - P(AB)$

— Dilip Sarwate

@ Dilip yep, ich kann das Konditionierungsereignis nicht abbrechen, ich bin bei dir.

1

Der Bayes-Satz ergibt Unter Verwendung der bedingten und bedingungslosen Summenregeln haben wir nun Die Frage ist natürlich, ob diese Formel für Jaynes "analog genug" wäre oder nicht.

p (C ∣ A + B) = \frac{p (A + B ∣ C) p (C)}{p (A + B)} .

$p(C\mid A+B) = \frac{p(A+B\mid C)\;p(C)}{p(A+B)} \, .$

p (C ∣ A + B) = \frac{p (A ∣ C) + p (B ∣ C) - p (A B ∣ C)}{p (A) + p (B) - p (A B)} p (C) .

$p(C\mid A+B) = \frac{p(A\mid C)+p(B\mid C)-p(AB\mid C)}{p(A)+p(B)-p(AB)}\;p(C) \, .$

— Zen
quelle

In einem Kommentar des OP heißt es: "In Jaynes 'Rahmen müssen Sie immer von etwas abhängig sein. P (X) ist für alle X undefiniert. Daher ist eine Konditionierung für einen einzelnen Begriff unvermeidlich." Sie dürfen also nicht P (C), P (A) usw. schreiben

— Dilip Sarwate

1

Sie können die Tautologie nicht loswerden. Ich denke, Sie sollten nur die Tautologie hinzufügen und die Produktregel und dann die Summenregel anwenden, und Sie erhalten:

p (C | (A + B) W) = \frac{p (C A | W) + p (C B | W) - p (A B | W)}{p (A | W) + p (B | W) - p (A B | W)}

$p(C|(A+B)W) = \frac{p(CA|W)+p(CB|W)-p(AB|W)}{p(A|W)+p(B|W)-p(AB|W)}$

wobei alle Wahrscheinlichkeiten als Posterioren der Tautologie ausgedrückt werden. Ich denke, dies ist das ähnlichste Äquivalent zu der Summenregel, die Sie für dieses Problem erhalten können. Das wäre also die Lösung.

Beachten Sie, dass Sie, wenn Sie die Bedingung hinzufügen (dh und sich gegenseitig aus), denselben Ausdruck erhalten, den Sie in Problem 2.2 beweisen müssen, was darauf hinweisen würde, dass diese Lösung höchstwahrscheinlich korrekt ist (durch Bayesianische Induktion;). $p(AB|W)=0$ $A$ $B$

— MastermindX
quelle

0

Wir folgen nur den Cox-Regeln und nehmen wie in Jaynes 'Buch. Wir haben die Lösung von MastermindX: $W=X$

p (C | (A + B) X) = \frac{p (C (A + B) | X)}{p ((A + B) | X)} (product rule)

$p(C|(A+B)X) = \dfrac{p(C(A+B)|X)}{p((A+B)|X)} \qquad \text{(product rule)}$

= \frac{p ((C A + C B) | X)}{p ((A + B) | X)} (distributive property of the conjunction)

$= \dfrac{p((CA+CB)|X)}{p((A+B)|X)} \qquad \text{(distributive property of the conjunction)}$

= \frac{p (C A | X) + p (C B | X) - p (C A B | X)}{p ((A + B) | X)} (sum rule on numerator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p((A+B)|X)} \qquad \text{(sum rule on numerator)}$

= \frac{p (C A | X) + p (C B | X) - p (C A B | X)}{p (A | X) + p (B | X) - p (A B | X)} (sum rule on demoninator)

$= \dfrac{p(CA|X)+p(CB|X)-p(CAB|X)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(sum rule on demoninator)}$

= \frac{p (A | X) p (C | A X) + p (B | X) p (C | B X) - p (A B | X) p (C | A B X)}{p (A | X) + p (B | X) - p (A B | X)} (product rule on numerator)

$= \dfrac{p(A|X)p(C|AX)+p(B|X)p(C|BX)-p(AB|X)p(C|ABX)}{p(A|X)+p(B|X)-p(AB|X)} \qquad \text{(product rule on numerator)}$

Die Lösung für Bsp. 2.1 folgt der Absicht des Kapitels 2 in der Produktregel, dass "wir zuerst eine konsistente Regel suchen, die die Plausibilität des logischen Produkts mit der Plausibilität von und getrennt in Beziehung setzt " (Seite 24). Darüber hinaus ist dies für sich gegenseitig ausschließende Sätze und gleich der Gl. (2.67) in Bsp. 2.2, wenn wir , ; auch von MastermindX angezeigt. Beachten Sie, dass Jaynes selbst die zusätzlichen Informationen zu Gl. (2.67), daher glaube ich, dass dies die erwartete Lösung für beide Übungen ist. $AB$ $A$ $B$ $A$ $B$ $\{A_{1} = A$ $A_{2} = B\}$ $X$

— aatr
quelle