Hat jemand die PTLOS-Übung 4.1 gelöst?

Dies ist eine Übung in bestimmten Wahrscheinlichkeitstheorie: Die Logik der Wissenschaft von Edwin Jaynes, 2003. Es ist eine Teillösung hier . Ich habe eine allgemeinere Teillösung ausgearbeitet und mich gefragt, ob es jemand anders gelöst hat. Ich werde ein bisschen warten, bevor ich meine Antwort veröffentliche, um anderen eine Chance zu geben.

Angenommen, wir haben gegenseitig ausschließende und erschöpfende Hypothese, die mit . Nehmen wir weiter an, wir haben Datensätze, bezeichnet mit . Das Wahrscheinlichkeitsverhältnis für die i-te Hypothese ist gegeben durch:$n$$H_i \;\;(i=1,\dots,n)$$m$$D_j \;\;(j=1,\dots,m)$

$$LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})}$$

Beachten Sie, dass dies bedingte Wahrscheinlichkeiten sind. Nehmen wir nun an, dass die Datensätze nach der i-ten Hypothese unabhängig sind. Wir haben also:$H_{i}$$m$

$$P(D_{1}D_{2}\dots,D_{m}|H_{i})=\prod_{j=1}^{m}P(D_{j}|H_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 1}$$

Nun wäre es ganz bequem, wenn der Nenner diese Situation mit einbezieht, so dass wir haben:

$$P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})=\prod_{j=1}^{m}P(D_{j}|\overline{H}_{i}) \;\;\;\; (i=1,\dots,n)\;\;\;\text{Condition 2}$$

In diesem Fall wird die Wahrscheinlichkeitsquote für jeden Datensatz in ein Produkt kleinerer Faktoren aufgeteilt, sodass wir Folgendes haben:

$$LR(H_i)=\prod_{j=1}^{m}\frac{P(D_{j}|H_{i})}{P(D_{j}|\overline{H}_{i})}$$

In diesem Fall wird jeder Datensatz "für H_i stimmen $H_i$" oder "gegen H_i stimmen $H_i$", unabhängig von jedem anderen Datensatz.

Die Aufgabe besteht darin, zu beweisen, dass es bei $n>2$ (mehr als zwei Hypothesen) keine solche nicht-triviale Art und Weise gibt, in der dieses Factoring auftreten kann. Das heißt, wenn Sie annehmen, dass Bedingung 1 und Bedingung 2 gelten, dann höchstens einer der folgenden Faktoren:

$$\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}\frac{P(D_{2}|H_{i})}{P(D_{2}|\overline{H}_{i})}\dots\frac{P(D_{m}|H_{i})}{P(D_{m}|\overline{H}_{i})}$$ unterscheidet sich von 1, sodass nur 1 Datensatz zum Wahrscheinlichkeitsverhältnis beiträgt.

Ich persönlich fand dieses Ergebnis sehr faszinierend, da es im Grunde zeigt, dass das Testen mehrerer Hypothesen nichts anderes als eine Reihe von binären Hypothesentests ist.

Der Grund, warum wir Gl. 4.28 (in dem Buch, Ihre Bedingung 1) war, dass wir die Wahrscheinlichkeit der Daten unter der einer bestimmten Hypothese und die Hintergrundinformation unabhängig ist, mit anderen Worten für jedes und mit :$H_a$$X$$D_i$$D_j$$i\neq{j}$

$$\begin{equation}P(D_i|D_jH_aX)=P(D_i|H_aX)\quad\quad{\rm (1)}\end{equation}$$ Eine über den Binärfall hinausgehende Dehnbarkeit kann daher folgendermaßen diskutiert werden: Nehmen wir Gl .1 um wahr zu sein, ist Gleichung 2 auch wahr?

$$\begin{equation}P(D_i|D_j\overline{H_a}X)\stackrel{?}{=}P(D_i|\overline{H_a}X)\quad\quad{\rm (2)}\end{equation}$$ Schauen wir uns zunächst die linke Seite von Gleichung 2 mit der Multiplikationsregel an:

$$\begin{equation}P(D_i|D_j\overline{H_a}X)=\frac{P(D_iD_j\overline{H_a}|X)}{P(D_j\overline{H_a}|X)}\quad\quad{\rm (3)}\end{equation}$$ Da angenommen wird, dass sich die Hypothesen gegenseitig ausschließen, können wir schreiben: Also wird Gleichung 3: Für den Fall, dass wir nur zwei Hypothesen haben, werden die Summierungen entfernt (da es nur ein ), die gleichen Terme im Nominator und Nenner, ), aufheben und Gleichung 2 ist als richtig erwiesen, da$n$$\{H_1\dots{H_n}\}$ $$\overline{H_a}=\sum_{b\neq{a}}H_b$$ $$P(D_i|D_j\overline{H_a}X)=\frac{\sum_{b\neq{a}}P(D_i|D_jH_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}=\frac{\sum_{b\neq{a}}P(D_i|H_bX)P(D_jH_b|X)}{\sum_{b\neq{a}}P(D_jH_b|X)}$$ $b\neq{a}$$P(D_jH_b|X$$H_b=\overline{H_a}$ . Daher kann Gleichung 4.29 aus Gleichung 4.28 im Buch abgeleitet werden. Wenn wir jedoch mehr als zwei Hypothesen haben, passiert dies nicht. Wenn wir beispielsweise drei Hypothesen haben: , die obige Gleichung: Mit anderen Worten: Diese Gleichung kann nur dann zu Gleichung 2 führen, wenn beide Nenner gleich 1 sind, dh beide Brüche in Nenner müssen gleich Null sein. Das ist aber unmöglich.$\{H_1, H_2, H_3\}$ $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)P(D_jH_2|X)+P(D_i|H_3X)P(D_jH_3|X)}{P(D_jH_2|X)+P(D_jH_3|X)}$$ $$P(D_i|D_j\overline{H_1}X)=\frac{P(D_i|H_2X)}{1+\frac{P(D_jH_3|X)}{P(D_jH_2|X)}}+\frac{P(D_i|H_3X)}{1+\frac{P(D_jH_2|X)}{P(D_jH_3|X)}}$$

Okay, also anstatt noch einmal Saunders Gleichung (5) abzuleiten, werde ich sie hier nur wiedergeben. Bedingung 1 und 2 implizieren folgende Gleichheit:

wobei djk=P(Dj|Hk,I

$$\prod_{j=1}^{m}\left(\sum_{k\neq i}h_{k}d_{jk}\right)=\left(\sum_{k\neq i}h_{k}\right)^{m-1}\left(\sum_{k\neq i}h_{k}\prod_{j=1}^{m}d_{jk}\right)$$ $$d_{jk}=P(D_{j}|H_{k},I)\;\;\;\;h_{k}=P(H_{k}|I)$$

Nun können wir uns auf den Fall (zwei Datensätze) spezialisieren, indem wir D ( 1 ) 1 ≡ D 1 nehmen und D ( 1 ) 2 ≡ D 2 D 3 … D m neu bezeichnen . Beachten Sie, dass diese beiden Datensätze weiterhin die Bedingungen 1 und 2 erfüllen, sodass das obige Ergebnis auch für sie gilt. Wenn wir nun m = 2 ausdehnen, erhalten wir:$m=2$$D_{1}^{(1)}\equiv D_{1}$$D_{2}^{(1)}\equiv D_{2}D_{3}\dots D_{m}$$m=2$

$$\left(\sum_{k\neq i}h_{k}d_{1k}\right)\left(\sum_{l\neq i}h_{l}d_{2l}\right)=\left(\sum_{k\neq i}h_{k}\right)\left(\sum_{l\neq i}h_{l}d_{1l}d_{2l}\right)$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1k}d_{2l}=\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{1l}d_{2l}$$

$$\rightarrow\sum_{k\neq i}\sum_{l\neq i}h_{k}h_{l}d_{2l}(d_{1k}-d_{1l})=0\;\;\;\;\;\;\; (i=1,\dots,n)$$

Der Term kommt in der obigen Doppelsummation zweimal vor, einmal, wenn k = a und l = b , und noch einmal, wenn k = b und l = a . Dies geschieht so lange wie a , b ≠ i . Der Koeffizient jedes Terms ist durch d 2 b und - d 2 a gegeben . Da es nun i dieser Gleichungen gibt, können wir sie tatsächlich entfernen$(d_{1a}-d_{1b})$$k=a$$l=b$$k=b$$l=a$$a,b\neq i$$d_{2b}$$-d_{2a}$$i$ aus diesen Gleichungen. Nehmenwirzur Veranschaulichung i = 1. Dies bedeutet, dass wir alle Bedingungen haben, mit Ausnahme von a = 1 , b = 2 und b = 1 , a = 2 . Nehmenwir nun i = 3 und wir können diese beiden Bedingungen haben (beachten Sie, dass dies mindestens drei Hypothesen voraussetzt). Die Gleichung kann also wie folgt umgeschrieben werden:$i$$i=1$$a=1,b=2$$b=1,a=2$$i=3$

$$\sum_{l>k}h_{k}h_{l}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Jetzt muss jeder der -Terme größer als Null sein, da es sich sonst um eine n 1 < n- Hypothese handelt und die Antwort in n 1 umformuliert werden kann . So können diese aus dem obigen Satz von Bedingungen entfernt werden:$h_i$$n_{1}<n$$n_{1}$

$$\sum_{l>k}(d_{2l}-d_{2k})(d_{1k}-d_{1l})=0$$

Es gibt also Bedingungen, die erfüllt sein müssen, und jede Bedingung impliziert eine von zwei "Unterbedingungen": dassdjk=djlfür entwederj=1oderj=2(aber nicht notwendigerweise beide). Jetzt haben wir eine Menge aller eindeutigen Paare(k,l)fürdjk=djl. Wenn wirn-1dieser Paare für eines derj nehmenwürden, hätten wir alle Zahlen1,$\frac{n(n-1)}{2}$$d_{jk}=d_{jl}$$j=1$$j=2$$(k,l)$$d_{jk}=d_{jl}$$n-1$$j$$1,\dots,n$ in the set, and $d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$. This is because the first pair has $2$ elements, and each additional pair brings at least one additional element to the set*

But note that because there are $\frac{n(n-1)}{2}$ conditions, we must choose at least the smallest integer greater than or equal to $\frac{1}{2}\times\frac{n(n-1)}{2}=\frac{n(n-1)}{4}$ for one of the $j=1$ or $j=2$. If $n>4$ then the number of terms chosen is greater than $n-1$. If $n=4$ or $n=3$ then we must choose exactly $n-1$ terms. This implies that $d_{j1}=d_{j2}=\dots=d_{j,n-1}=d_{j,n}$. Only with two hypothesis ($n=2$) is where this does not occur. But from the last equation in Saunder's article this equality condition implies:

$$P(D_{j}|\overline{H}_{i})=\frac{\sum_{k\neq i}d_{jk}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}\frac{\sum_{k\neq i}h_{k}}{\sum_{k\neq i}h_{k}}=d_{ji}=P(D_{j}|H_{i})$$

Thus, in the likelihood ratio we have:

$$\frac{P(D_{1}^{(1)}|H_{i})}{P(D_{1}^{(1)}|\overline{H}_{i})}=\frac{P(D_{1}|H_{i})}{P(D_{1}|\overline{H}_{i})}=1 \text{ OR} \frac{P(D_{2}^{(1)}|H_{i})}{P(D_{2}^{(1)}|\overline{H}_{i})}=\frac{P(D_{2}D_{3}\dots,D_{m}|H_{i})}{P(D_{2}D_{3}\dots,D_{m}|\overline{H}_{i})}=1$$

To complete the proof, note that if the second condition holds, the result is already proved, and only one ratio can be different from 1. If the first condition holds, then we can repeat the above analysis by relabeling $D_{1}^{(2)}\equiv D_{2}$ and $D_{2}^{(2)}\equiv D_{3}\dots,D_{m}$. Then we would have $D_{1},D_{2}$ not contributing, or $D_{2}$ being the only contributor. We would then have a third relabeling when $D_{1}D_{2}$ not contributing holds, and so on. Thus, only one data set can contribute to the likelihood ratio when condition 1 and condition 2 hold, and there are more than two hypothesis.

*NOTE: An additional pair might bring no new terms, but this would be offset by a pair which brought 2 new terms. e.g. take $d_{j1}=d_{j2}$ as first[+2], $d_{j1}=d_{j3}$ [+1] and $d_{j2}=d_{j3}$ [+0], but next term must have $d_{jk}=d_{jl}$ for both $k,l\notin (1,2,3)$. This will add two terms [+2]. If $n=4$ then we don't need to choose any more, but for the "other" $j$ we must choose the 3 pairs which are not $(1,2),(2,3),(1,3)$. These are $(1,4),(2,4),(3,4)$ and thus the equality holds, because all numbers $(1,2,3,4)$ are in the set.

For the record, here is a somewhat more extensive proof. It also contains some background information. Maybe this is helpful for others studying the topic.

The main idea of the proof is to show that Jaynes' conditions 1 and 2 imply that

$$P(D_{m_k}|H_iX)=P(D_{m_k}|X),$$ for all but one data set $m_k=1,\ldots,m$. It then shows that for all these data sets, we also have $$P(D_{m_k}|\overline H_iX)=P(D_{m_k}|X).$$ Thus we have for all but one data set, $$\frac{P(D_{m_k}|H_iX)}{P(D_{m_k}|\overline H_iX)} = \frac{P(D_{m_k}|X)}{P(D_{m_k}|X)} = 1.$$ The reason that I wanted to include the proof here is that some of the steps involved are not at all obvious, and one needs to take care not to use anything else than conditions 1 and 2 and the product rule (as many of the other proofs implicitly do). The link above includes all these steps in detail. It is on my Google Drive and I will make sure it stays accessible.