Wahrscheinlichkeitsverteilung für verschiedene Wahrscheinlichkeiten

Wenn ich die Wahrscheinlichkeit von 9 Erfolgen in 16 Versuchen mit einer Wahrscheinlichkeit von 0,6 erhalten wollte, könnte ich eine Binomialverteilung verwenden. Was könnte ich verwenden, wenn jede der 16 Studien eine andere Erfolgswahrscheinlichkeit hat?

Dies ist die Summe von 16 (vermutlich unabhängigen) Binomialversuchen. Die Annahme der Unabhängigkeit erlaubt es uns, Wahrscheinlichkeiten zu multiplizieren . Nach zwei Versuchen mit den Wahrscheinlichkeiten und des Erfolgs ist die Erfolgschance für beide Versuche , die Chance, dass keine Erfolge erzielt werden, ist und die Chance für einen Erfolg ist . Dieser letzte Ausdruck verdankt seine Gültigkeit der Tatsache, dass sich die beiden Wege, genau einen Erfolg zu erzielen, gegenseitig ausschließen: höchstens einer von ihnen kann tatsächlich geschehen. Das heißt, ihre Wahrscheinlichkeiten addieren sich .$p_1$$p_2$$p_1 p_2$$(1-p_1)(1-p_2)$$p_1(1-p_2) + (1-p_1)p_2$

Anhand dieser beiden Regeln - unabhängige Wahrscheinlichkeiten multiplizieren sich und sich gegenseitig ausschließende addieren sich - können Sie die Antworten für beispielsweise 16 Versuche mit den Wahrscheinlichkeiten . Zu diesem Zweck müssen Sie alle Möglichkeiten berücksichtigen, um eine bestimmte Anzahl von Erfolgen zu erzielen (z. B. 9). Es gibt Möglichkeiten, 9 Erfolge zu erzielen. Eine davon tritt beispielsweise auf, wenn die Versuche 1, 2, 4, 5, 6, 11, 12, 14 und 15 erfolgreich und die anderen erfolglos sind. Die Erfolge hatten Wahrscheinlichkeiten und und die Fehler hatten Wahrscheinlichkeiten . Das Multiplizieren dieser 16 Zahlen ergibt die Chance($p_1, \ldots, p_{16}$p1,p2,p4,p5,p6,p11,p12,p14,p151-p3,1-p7,...,1-p13,1-p$\binom{16}{9} = 11440$$p_1, p_2, p_4, p_5, p_6, p_{11}, p_{12}, p_{14},$$p_{15}$$1-p_3, 1-p_7, \ldots, 1-p_{13}, 1-p_{16}$dieser bestimmten Folge von Ergebnissen. Summiert man diese Zahl zusammen mit den 11.439 verbleibenden Zahlen, ergibt sich die Antwort.

Natürlich würden Sie einen Computer benutzen.

Bei mehr als 16 Versuchen muss die Verteilung approximiert werden. Vorausgesetzt, keine der Wahrscheinlichkeiten und zu klein, funktioniert eine normale Approximation gut. Bei dieser Methode ist zu beachten, dass die Erwartung der Summe von Versuchen und (da die Versuche unabhängig sind) die Varianz . Sie geben dann vor, die Verteilung der Summen sei normal mit Mittelwert und Standardabweichung . Die Antworten sind in der Regel gut für die Berechnung von Wahrscheinlichkeiten, die einem anderen Anteil von Erfolgen entsprechen 1 - p i n μ = p 1 + p 2 + ⋯ + p n σ 2 = p 1 ( 1 - p 1 ) + p 2 ( 1 - p 2 ) + ⋯ + p n ( 1 - p n ) μ σ μ σ n σ $p_i$$1-p_i$$n$$\mu = p_1 + p_2 + \cdots + p_n$$\sigma^2 = p_1(1-p_1) + p_2(1-p_2) + \cdots + p_n(1-p_n)$$\mu$$\sigma$$\mu$ von nicht mehr als ein paar Vielfachen von . Wenn groß wird, wird diese Approximation immer genauer und funktioniert für noch größere Vielfache von außerhalb von .$\sigma$$n$$\sigma$$\mu$

Eine Alternative zur normalen Näherung von @ whuber ist die Verwendung von "Mischwahrscheinlichkeiten" oder eines hierarchischen Modells. Dies würde zutreffen, wenn die in irgendeiner Weise ähnlich sind und Sie dies durch eine Wahrscheinlichkeitsverteilung mit einer Dichtefunktion von modellieren können, die durch einen Parameter indiziert wird . Sie erhalten eine Integralgleichung:p i ~ D i s t ( θ ) g ( p | θ ) $p_i$$p_i\sim Dist(\theta)$$g(p|\theta)$$\theta$

$$Pr(s=9|n=16,\theta)={16 \choose 9}\int_{0}^{1} p^{9}(1-p)^{7}g(p|\theta)dp$$

Die Binomialwahrscheinlichkeit ergibt sich aus der Einstellung , die normale Näherung ergibt sich aus der (ich denke) Einstellung (mit und wie in @ whubers Antwort definiert) und dann " Schwänze "dieses PDF fallen scharf um den Gipfel ab.g ( p | θ ) = g ( p | μ , σ ) = $g(p|\theta)=\delta(p-\theta)$μ$g(p|\theta)=g(p|\mu,\sigma)=\frac{1}{\sigma}\phi\left(\frac{p-\mu}{\sigma}\right)$$\mu$$\sigma$

Sie könnten auch eine Beta-Verteilung verwenden, die zu einer einfachen Analyseform führen würde und die nicht unter dem "kleinen p" -Problem leiden muss, das die normale Approximation aufweist - da Beta sehr flexibel ist. Verwenden einer Verteilung mit die von den Lösungen auf die folgenden Gleichungen festgelegt wird (dies ist die Schätzung der minimalen KL-Divergenz):α , $beta(\alpha,\beta)$$\alpha,\beta$

ψ(β)-ψ(α+β)=

$$\psi(\alpha)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[p_{i}]$$ $$\psi(\beta)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[1-p_{i}]$$

Wobei Die Digammafunktion ist - eng verwandt mit harmonischen Reihen.$\psi(.)$

Wir erhalten die "Beta-Binomial" -Verbindungsverteilung:

$${16 \choose 9}\frac{1}{B(\alpha,\beta)}\int_{0}^{1} p^{9+\alpha-1}(1-p)^{7+\beta-1}dp ={16 \choose 9}\frac{B(\alpha+9,\beta+7)}{B(\alpha,\beta)}$$

Diese Verteilung konvergiert gegen eine Normalverteilung in dem Fall, dass @whuber darauf hinweist - aber vernünftige Antworten für kleines und verzerrtes -, aber nicht für multimodales , da die Beta-Verteilung nur einen Peak hat. Sie können dies jedoch leicht beheben, indem Sie einfach Beta-Verteilungen für die Modi verwenden. Sie zerlegen das Integral von in Teile, sodass jedes Teil einen eindeutigen Modus hat (und genügend Daten, um Parameter abzuschätzen), und passen eine Beta-Verteilung in jedes Teil an. dann die Ergebnisse und stellen Sie fest, dass die Änderung der Variablen fürp i p i M M 0 < p < 1 M p = x - $n$$p_i$$p_i$$M$$M$$0<p<1$$M$ L<x<$p=\frac{x-L}{U-L}$$L<x<U$ Das Beta-Integral wandelt sich in:

$$B(\alpha,\beta)=\int_{L}^{U}\frac{(x-L)^{\alpha-1}(U-x)^{\beta-1}}{(U-L)^{\alpha+\beta-1}}dx$$

Sei ~ mit Wahrscheinlichkeitsfunktion (pgf): B e r n o u l l i ( p i$X_i$$Bernoulli(p_i)$

$$\text{pgf} = E[t^{X_i}] = 1 - p_i (1-t)$$

Sei die Summe von solcher unabhängigen Zufallsvariablen. Dann ist der pgf für die Summe von solcher Variablen: n S n = $S = \sum_{i=1}^n X_i$$n$$S$$n=16$

$$\begin{align*}\displaystyle \text{pgfS} &= E[t^S] \\&= E[t^{X_1}] E[t^{X_2}] \dots E[t^{X_{16}}] \text{ (... by independence)} \\ &= \prod _{i=1}^{16} \left(1-p_i(1-t) \right)\end{align*}$$

Wir suchen , das ist:$P(S=9)$

$$\frac{1}{9!}\frac{d^9 \text{pgfS}}{dt^9}|_{t=0}$$

ALLES ERLEDIGT. Dies ergibt die exakte symbolische Lösung in Abhängigkeit von . Die Antwort ist ziemlich lang, um sie auf dem Bildschirm auszudrucken, aber sie ist vollständig nachvollziehbar und benötigt weniger als Sekunden, um sie mit Mathematica auf meinem Computer auszuwerten .$p_i$$\frac{1}{100}$

Beispiele

Wenn , dann: P(S=9)=$p_i = \frac{i}{17}, i= 1 \text{ to } 16$$P(S=9) = \frac{9647941854334808184}{48661191875666868481} = 0.198268 \dots$

Wenn , dann gilt: P(S=9)=0,000228613$p_i = \frac{\sqrt{i}}{17}, i= 1 \text{ to } 16$$P(S=9) = 0.000228613 \dots$

Mehr als 16 Versuche?

Bei mehr als 16 Versuchen ist es nicht erforderlich, die Verteilung zu approximieren. Die obige exakte Methode funktioniert genauso gut für Beispiele mit oder . Wenn beispielsweise , dauert es weniger als Sekunden, um die gesamte pmf ( dh bei jedem Wert ) unter Verwendung des folgenden Codes zu bewerten .$n = 50$$n = 100$$n = 50$$\frac{1}{10}$$s = 0, 1, \dots, 50$

Mathematica-Code

wir einen Vektor mit Werten an:$p_i$

n = 16;   pvals = Table[Subscript[p, i] -> i/(n+1), {i, n}];

... hier ist ein Mathematica- Code, um alles Erforderliche zu tun:

pgfS = Expand[ Product[1-(1-t)Subscript[p,i], {i, n}] /. pvals];
D[pgfS, {t, 9}]/9! /. t -> 0  // N

0,198268

So leiten Sie die gesamte PMF ab:

Table[D[pgfS, {t,s}]/s! /. t -> 0 // N, {s, 0, n}]

... oder nutzen Sie das noch ordentlichere und schnellere (dank eines Vorschlags von Ray Koopman unten):

CoefficientList[pgfS, t] // N

Bei einem Beispiel mit dauert die Berechnung nur 1 Sekunde und anschließend 0,002 Sekunden, um die gesamte PMF mit abzuleiten. Dies ist also äußerst effizient.$n = 1000$pgfSCoefficientList

@wolfies Kommentar, und mein Versuch, darauf zu antworten, ergab ein wichtiges Problem mit meiner anderen Antwort, auf die ich später eingehen werde.

Sonderfall (n = 16)

Es gibt eine ziemlich effiziente Möglichkeit, die vollständige Verteilung zu codieren, indem der "Trick" verwendet wird, bei der Berechnung Zahlen zur Basis 2 (binär) zu verwenden. Es erfordert nur 4 Zeilen R Code die vollständige Verteilung zu erhalten wobei P r ( Z i = 1 ) = p i . Grundsätzlich gibt es insgesamt 2 n Möglichkeiten des Vektors z = ( z 1 , … , z n ) , den die binären Variablen Z $Y=\sum_{i=1}^{n} Z_i$$Pr(Z_i=1)=p_i$$2^n$$z=(z_1,\dots,z_n)$$Z_i$nehmen könnte. Nehmen wir nun an, wir nummerieren jede einzelne Auswahl von bis 2 n . Dies ist für sich genommen nichts Besonderes, aber nun nehmen wir an, dass wir die "Auswahlzahl" mit der Basis 2-Arithmetik darstellen. Nehmen Sie jetzt n = 3, damit ich alle Auswahlmöglichkeiten aufschreiben kann, sodass es 2 3 = 8 Auswahlmöglichkeiten gibt. Dann wird 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 in "gewöhnlichen Zahlen" zu 1 , 10 , 11 , 100 , $1$$2^n$$n=3$$2^3=8$$1,2,3,4,5,6,7,8$ in "Binärzahlen". Nehmen wir nun an, wir schreiben diese als vierstellige Zahlen, dann haben wir 0001 , 0010 , 0011 , 0100 , 0101 , 0110 , 0111 , 1000 . Schauen Sie sich nun die letzten 3 Ziffern jeder Zahl an - 001 kann man sich vorstellen als ( Z 1 = 0 , Z 2 = 0 , Z 3 = 1 $1,10,11,100,101,110,111,1000$$0001,0010,0011,0100,0101,0110,0111,1000$$3$$001$ usw. Das Zählen in binärer Form bietet eine effiziente Möglichkeit, die Summierung zu organisieren. Glücklicherweise gibt es eine R-Funktion, die diese Binärkonvertierung für uns durchführen kann. Sie heißtund wir konvertieren die rohe Binärform in ein numerisches Via. Dann erhalten wir einen Vektor mit 32 Elementen, wobei jedes Element die Ziffer der Basis 2-Version von ist unsere Nummer (von rechts nach links gelesen, nicht von links nach rechts). Mit diesem Trick in Kombination mit einigen anderen R-Vektorisierungen können wir die Wahrscheinlichkeit von y = 9 in 4 Zeilen R-Codeberechnen:$(Z_1=0,Z_2=0,Z_3=1)\implies Y=1$intToBits(x)as.numeric(intToBits(x))$32$$y=9$

exact_calc <- function(y,p){
    n       <- length(p)
    z       <- t(matrix(as.numeric(intToBits(1:2^n)),ncol=2^n))[,1:n] #don't need columns n+1,...,32 as these are always 0
    pz      <- z%*%log(p/(1-p))+sum(log(1-p))
    ydist   <- rowsum(exp(pz),rowSums(z))
    return(ydist[y+1])
}

Einstecken des Uniformgehäuses und der Quadratwurzel-Fallp ( 2 ) i =$p_i^{(1)}=\frac{i}{17}$ ergibt eine vollständige Verteilung für y als:$p_i^{(2)}=\frac{\sqrt{i}}{17}$

$$\begin{array}{c|c}y & Pr(Y=y|p_i=\frac{i}{17}) & Pr(Y=y|p_i=\frac{\sqrt{i}}{17})\\ \hline 0 & 0.0000 & 0.0558 \\ 1 & 0.0000 & 0.1784 \\ 2 & 0.0003 & 0.2652 \\ 3 & 0.0026 & 0.2430 \\ 4 & 0.0139 & 0.1536 \\ 5 & 0.0491 & 0.0710 \\ 6 & 0.1181 & 0.0248 \\ 7 & 0.1983 & 0.0067 \\ 8 & 0.2353 & 0.0014 \\ 9 & 0.1983 & 0.0002 \\ 10 & 0.1181 & 0.0000 \\ 11 & 0.0491 & 0.0000 \\ 12 & 0.0139 & 0.0000 \\ 13 & 0.0026 & 0.0000 \\ 14 & 0.0003 & 0.0000 \\ 15 & 0.0000 & 0.0000 \\ 16 & 0.0000 & 0.0000 \\ \end{array}$$

So für das spezifische Problem der Erfolge in 16 Studien, sind die genauen Berechnungen direkt. Dies funktioniert auch für eine Reihe von Wahrscheinlichkeiten bis zu etwa n = 20 - darüber hinaus treten wahrscheinlich Speicherprobleme auf, und es sind verschiedene Computertricks erforderlich.$y$$16$$n=20$

Man beachte, dass durch Anwenden meiner vorgeschlagenen "Beta-Verteilung" Parameterschätzungen von und dies eine Wahrscheinlichkeitsschätzung ergibt, die in y nahezu einheitlich ist , was einen ungefähren Wert von p r ( y = 9 ) = 0,06799 ≈ 1$\alpha=\beta=1.3206$$y$ . Dies erscheint merkwürdig, da eine Dichte einer Beta-Verteilung mitα=β=1,3206dem Histogramm derpi-Werte sehr nahe kommt. Was schief gelaufen ist?$pr(y=9)=0.06799\approx\frac{1}{17}$$\alpha=\beta=1.3206$$p_i$

Allgemeiner Fall

Ich werde nun den allgemeineren Fall diskutieren und erläutern, warum meine einfache Beta-Approximation fehlgeschlagen ist. Grundsätzlich durch Schreiben und dann Mischen über P mit einer anderen Verteilung p ~ f ( θ ) ist tatsächlich eine wichtige Annahme, - dass wir die tatsächliche Wahrscheinlichkeit approximieren mit einer einzigen Binomialwahrscheinlichkeit - das einzige verbleibende Problem ist, welcher Wert von $(y|n,p)\sim Binom(n,p)$$p$$p\sim f(\theta)$$p$benutzen. Eine Möglichkeit, dies zu sehen, besteht darin, die Mischungsdichte zu verwenden, die über den tatsächlichen diskret gleichförmig ist . So wir die Beta - Verteilung ersetzen p ~ B e t a ( a , b ) mit einer Dichte von diskreter p ~ Σ 16 i = 1 w i δ ( p - p i ) . Dann kann die Verwendung der Mischungsnäherung in Worten ausgedrückt werden, indem ein p i -Wert mit der Wahrscheinlichkeit w i gewählt wird$p_i$$p\sim Beta(a,b)$$p\sim \sum_{i=1}^{16}w_i\delta(p-p_i)$$p_i$$w_i$und nehmen an, dass alle Bernoulli-Versuche diese Wahrscheinlichkeit haben . Damit eine solche Annäherung gut funktioniert, sollten die meisten -Werte einander ähnlich sein. Dies bedeutet im Grunde, dass für @wolfies gleichmäßige Werteverteilung p i = $p_i$ führt bei Verwendung der Beta-Mischungsverteilung zu einer äußerst schlechten Näherung. Dies erklärt auch, warum die Approximation fürpi= √ viel besser ist$p_i=\frac{i}{17}$ - sie sind weniger ausgebreitet.$p_i=\frac{\sqrt{i}}{17}$

Das Mischen verwendet dann das beobachtete um über alle möglichen Auswahlen eines einzelnen p zu mitteln . Jetzt, da "Mischen" wie ein gewichteter Durchschnitt ist, kann es unmöglich besser sein, als das einfach beste p zu verwenden . Wenn also die p i ausreichend verteilt sind, kann es kein einzelnes p geben, das eine gute Annäherung an alle p i liefern könnte .$p_i$ $p$$p$$p_i$$p$$p_i$

Eine Sache, die ich in meiner anderen Antwort gesagt habe, war, dass es vielleicht besser ist, eine Mischung von Beta-Verteilungen über einen begrenzten Bereich zu verwenden - aber das hilft hier immer noch nicht weiter, da dies immer noch über eine einzelne mischt . Sinnvoller ist es, das Intervall ( 0 , 1 ) in Teile aufzuteilen und in jedem Teil ein Binom zu haben. Zum Beispiel könnten wir ( 0 , 0.1 , 0.2 , … , 0.9 , 1 ) als unsere Aufteilungen wählen und neun Binome in jede $p$$(0,1)$$(0,0.1,0.2,\dots,0.9,1)$$0.1$Wahrscheinlichkeitsbereich. Grundsätzlich würden wir innerhalb jeder Teilung eine einfache Näherung anpassen, beispielsweise die Verwendung eines Binoms mit einer Wahrscheinlichkeit, die gleich dem Durchschnitt des in diesem Bereich ist. Wenn wir die Intervalle klein genug machen, wird die Approximation beliebig gut. Beachten Sie jedoch, dass wir uns nur mit einer Summe unabhängiger Binomialversuche mit unterschiedlichen Wahrscheinlichkeiten befassen müssen , anstatt mit Bernoulli- Versuchen. Der vorherige Teil dieser Antwort hat jedoch gezeigt, dass wir die genauen Berechnungen durchführen können, vorausgesetzt, die Anzahl der Binome ist ausreichend klein, etwa 10-15.$p_i$

Um die auf Bernoulli basierende Antwort auf eine auf Binomialbasis zu erweitern, "interpretieren" wir einfach neu, was die -Variablen sind. Wir stellen einfach fest, dass Z i = I ( X i > 0 ) - dies reduziert sich auf das ursprüngliche bernoulli-basierte Z i , sagt aber jetzt, aus welchen Binomen die Erfolge stammen. Der Fall ( Z 1 = 0 , Z 2 = 0 , Z 3 = 1 ) bedeutet nun, dass alle "Erfolge" aus dem dritten Binomial stammen und keiner aus den ersten beiden.$Z_i$$Z_i=I(X_i>0)$$Z_i$$(Z_1=0,Z_2=0,Z_3=1)$

Beachten Sie, dass dies immer noch „exponentiell“ ist, dass die Anzahl der Berechnungen ist so etwas wie wobei g die Zahl der Binome ist, und k ist die Gruppengröße - so haben Sie Y & ap ; & Sgr; g j = 1 X j wobei X j ~ B i n ( k , p j ) . Dies ist jedoch besser als die 2 g k , mit denen Sie mit Hilfe von Bernoulli-Zufallsvariablen umgehen würden. Angenommen, wir teilen n = $k^g$$g$$k$$Y\approx\sum_{j=1}^{g}X_j$$X_j\sim Bin(k,p_j)$$2^{gk}$$n=16$Wahrscheinlichkeiten in Gruppen mit k = 4 Wahrscheinlichkeiten in jeder Gruppe. Dies ergibt 4 4 = 256 Berechnungen, verglichen mit 2 16 = $g=4$$k=4$$4^4=256$$2^{16}=65536$

Durch die Wahl Gruppen, und die Feststellung , dass die Grenze im Begriff war , n = 20 , die im Begriff ist , 10 7 Zellen, können wir effektiv mit dieser Methode das Maximum zu erhöhen , n zu n = 50 .$g=10$$n=20$$10^7$$n$$n=50$

$g$$n$$g=5$$n$$125$

$$\Pr(S=k) = \sum_{\substack{A\subset\{1,\dots,n\}\\ |A|=k}} \left( \prod_{i\in A} p_i \right)\left(\prod_{j\in \{1,\dots,n\}\setminus A} (1-p_j) \right) \, .$$

p <- seq(1, 16) / 17
cat(p, "\n")
n <- length(p)
k <- 9
S <- seq(1, n)
A <- combn(S, k)
pr <- 0
for (i in 1:choose(n, k)) {
    pr <- pr + exp(sum(log(p[A[,i]])) + sum(log(1 - p[setdiff(S, A[,i])])))
}
cat("Pr(S = ", k, ") = ", pr, "\n", sep = "")

$p_i$

Pr(S = 9) = 0.1982677

$n$