Beziehung zwischen Binomial- und Beta-Distributionen

Ich bin eher ein Programmierer als ein Statistiker, daher hoffe ich, dass diese Frage nicht zu naiv ist.

Dies geschieht bei der Ausführung von Stichprobenprogrammen zu zufälligen Zeiten. Wenn ich N = 10 zufällige Zeitabtastungen des Programmzustands nehme, könnte ich sehen, dass die Funktion Foo beispielsweise für I = 3 dieser Abtastungen ausgeführt wird. Ich interessiere mich für das, was mir über den tatsächlichen Bruchteil der Zeit F, die Foo ausführt, sagt.

Ich verstehe, dass ich binomial mit dem Mittelwert F * N verteilt bin. Ich weiß auch, dass F bei I und N einer Betaverteilung folgt. Tatsächlich habe ich die Beziehung zwischen diesen beiden Distributionen programmgesteuert überprüft

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

Das Problem ist, dass ich kein intuitives Gefühl für die Beziehung habe. Ich kann mir nicht vorstellen, warum es funktioniert.

BEARBEITEN: Alle Antworten waren herausfordernd, insbesondere @whuber's, was ich noch zu klären brauche, aber das Einspielen von Auftragsstatistiken war sehr hilfreich. Trotzdem wurde mir klar, dass ich eine grundlegendere Frage hätte stellen sollen: Wie lautet die Verteilung für F bei I und N? Jeder hat darauf hingewiesen, dass es Beta ist, was ich wusste. Endlich habe ich aus Wikipedia ( Conjugate prior ) herausgefunden, dass es so scheint Beta(I+1, N-I+1). Nachdem Sie es mit einem Programm erkundet haben, scheint es die richtige Antwort zu sein. Ich würde gerne wissen, ob ich mich irre. Ich bin immer noch verwirrt über die Beziehung zwischen den beiden oben gezeigten CDs, warum sie 1 ergeben und ob sie überhaupt etwas mit dem zu tun haben, was ich wirklich wissen wollte.

Betrachten Sie die Ordnungsstatistik von unabhängigen Ziehungen aus einer gleichmäßigen Verteilung. Da die Auftragsstatistik Beta-Verteilungen aufweist , ist die Wahrscheinlichkeit, dass nicht überschreitet , durch das Beta-Integral gegeben n + 1 x [ k ]$x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$$n+1$$x_{[k]}$$p$

(Warum ist das so? Hier ist eine nicht strenge, aber einprägsame Demonstration. Die Wahrscheinlichkeit, dass zwischen und ist die Wahrscheinlichkeit, dass von einheitlichen Werten zwischen und , mindestens einer von ihnen liegt zwischen und , und der Rest liegt zwischen und Für die erste Ordnung im infinitesimalen wir nur den Fall berücksichtigen, in dem genau ein Wert (nämlich selbst) liegt zwischen und und damit p p + d p n + $x_{[k]}$$p$$p + dp$$n+1$0 p p p + d p p + d p 1 d p x [ k $k$$0$$p$$p$$p + dp$$p + dp$$1$$dp$$x_{[k]}$p + d p n - k p + d p p k ( d p ) ( 1 - p - d p ) n - k$p$$p + dp$$n - k$ Werte überschreiten . Da alle Werte unabhängig und einheitlich sind, ist diese Wahrscheinlichkeit proportional zu . In der ersten Ordnung in dies , genau der Integrand der Beta-Verteilung. Der Begriff kann direkt von diesem Argument als Multinomialkoeffizient berechnet werden oder indirekt als abgeleitete die Normalisierungskonstante des Integrals.)$p + dp$$p^k (dp) (1 - p - dp)^{n-k}$p k ( 1 - p ) n - k d p $dp$$p^k(1-p)^{n-k}dp$( n + $\frac{1}{B(k+1, n-k+1)}$${n+1}\choose{k,1, n-k}$

Per Definition ist das Ereignis dass der Wert von nicht überschreitet . Entsprechend überschreitet mindestens der Werte : Diese einfache (und ich hoffe, dass es offensichtlich ist) Behauptung liefert die Intuition, die Sie suchen. Die Wahrscheinlichkeit der äquivalenten Aussage ergibt sich aus der Binomialverteilung,k + 1 st p k + 1 $x_{[k]} \le p$$k+1^\text{st}$$p$ $k+1$$p$

Zusammenfassend zerlegt das Beta-Integral die Berechnung eines Ereignisses in eine Reihe von Berechnungen: Das Auffinden von mindestens Werten im Bereich , dessen Wahrscheinlichkeit wir normalerweise mit einer Binomial-cdf berechnen würden, wird gegenseitig zerlegt Ausschließliche Fälle, in denen genau Werte im Bereich und 1 Wert im Bereich für alle möglichen , und eine infinitesimale Länge sind. Summiert man über all diese "Fenster" - also integrierend -, so muss dies die gleiche Wahrscheinlichkeit ergeben wie das Binomial cdf.[ 0 , p ] k [ 0 , x ] [ x , x + d x ] x 0 ≤ x < p d x [ x , x + d x $k+1$$[0, p]$ $k$$[0, x]$$[x, x+dx]$$x$$0 \le x \lt p$$dx$$[x, x+dx]$

Betrachten Sie die PDF-Datei von Binomial als Funktion von : und die PDF- von Beta als Funktion von : Sie können wahrscheinlich sehen dass mit einer geeigneten (ganzzahligen) Auswahl für und diese gleich sind. Soweit ich das beurteilen kann, ist das alles, was zu dieser Beziehung gehört: Die Art und Weise, wie in das Binomial-PDF eintritt, wird zufällig als Beta-Distribution bezeichnet.f ( x ) = ($x$pg(p)=Γ(a+b

Wie Sie bemerkt haben, beschreibt die Beta-Verteilung die Verteilung des Versuchswahrscheinlichkeitsparameters , während die Binomialverteilung die Verteilung des Ergebnisparameters . Sie haben Ihre Frage umgeschrieben und gefragt, warum Das heißt, die Wahrscheinlichkeit, dass die Beobachtung plus eins größer ist als die Erwartung der Beobachtung, ist dieselbe wie die Wahrscheinlichkeit, dass Die Beobachtung plus eins ist größer als die Erwartung der Beobachtung.I P ( F ≤ i + $F$$I$P(Fn≤i+1)+P(I+1≤fn)=1P(Fn≤i+1)=P(fn<I+1

Ich gebe zu, dass dies möglicherweise nicht dazu beiträgt, die ursprüngliche Formulierung des Problems zu verstehen, aber vielleicht hilft es, zumindest zu sehen, wie die beiden Verteilungen dasselbe zugrunde liegende Modell wiederholter Bernoulli-Versuche verwenden, um das Verhalten verschiedener Parameter zu beschreiben.

Im Bayes'schen Land ist die Beta-Verteilung das Konjugat vor dem p-Parameter der Binomialverteilung.

Andere Antworten können nicht kommentiert werden, daher muss ich meine eigene Antwort erstellen.

Posterior = C * Likelihood * Prior (C ist eine Konstante, die Posterior zu 1 integriert)

Gegeben ein Modell, das die Binomialverteilung für die Wahrscheinlichkeit und die Beta-Verteilung für Prior verwendet. Das Produkt der beiden, das den Posterior erzeugt, ist ebenfalls eine Beta-Distribution. Da Prior und Posterior beide Beta sind, handelt es sich um konjugierte Distributionen . Der Prior (ein Beta) wird als konjugierter Prior für die Wahrscheinlichkeit (ein Binom) bezeichnet. Wenn Sie beispielsweise eine Beta mit einer Normalen multiplizieren, ist der Posterior keine Beta mehr. Zusammenfassend sind Beta und Binomial zwei Verteilungen, die in der Bayes'schen Inferenz häufig verwendet werden. Beta ist Conjugate Prior von Binomial, aber die beiden Distributionen sind keine Teilmenge oder Obermenge der anderen.

Die Schlüsselidee der Bayes'schen Inferenz ist, dass wir den Parameter p als Zufallsvariable behandeln, die von [0,1] reicht, was im Gegensatz zum Ansatz der frequentistischen Inferenz steht, bei dem wir den Parameter p als fest behandeln. Wenn Sie sich die Eigenschaften der Beta-Verteilung genau ansehen, werden Sie feststellen$\alpha$$\beta$ , dass der Mittelwert und der Modus ausschließlich durch und , die für den Parameter p irrelevant sind . Dies, zusammen mit seiner Flexibilität, ist der Grund, warum Beta normalerweise als Prior verwendet wird.

Zusammenfassung: Es wird oft gesagt, dass Beta-Distribution eine Distribution auf Distributionen ist! Aber was heißt das?

$n,k$$\mathbb P[Bin(n,p)\geqslant k]$$p$$\mathbb P[Bin(n,p)\geqslant k]$$0$$1$$p$$0$$1$$p$$\beta(k,n-k+1)$$p$

Sei eine Binomial-Zufallsvariable mit Stichproben und der Erfolgswahrscheinlichkeit . Mit der grundlegenden Algebra haben wir$Bin(n,p)$$n$$p$

Es hat auch ein paar schöne kombinatorische Beweise. Betrachten Sie es als Übung!

Also haben wir:

Anmerkung Um eine interaktive Version der Handlung zu sehen, schauen Sie sich diese an . Sie können das Notizbuch herunterladen oder einfach den Binder-Link verwenden.