Verstehe intuitiv, warum die Poisson-Verteilung der Grenzfall der Binomialverteilung ist

In "Data Analysis" von DS Sivia wird die Poisson-Verteilung von der Binomialverteilung abgeleitet.

Sie argumentieren, dass die Poisson-Verteilung der Grenzfall der Binomialverteilung ist, wenn , wobei die Anzahl der Versuche ist.$M\rightarrow\infty$$M$

Frage 1: Wie kann dieses Argument intuitiv verstanden werden?

Frage 2: Warum ist das große Limit von Gleich , Wobei die Anzahl der Erfolge in Versuche? (Dieser Schritt wird bei der Ableitung verwendet.)$M$$\frac{M!}{N!(M-N)!}$$\frac{M^{N}}{N!}$$N$$M$

Ich werde eine einfache intuitive Erklärung versuchen. Zeichnen Sie auf, dass für eine binomiale Zufallsvariable $X \sim \text{Bin}(n,p)$ die Erwartung $n p$ und die Varianz $n p (1-p)$ . Stellen Sie sich nun vor, dass $X$ die Anzahl der Ereignisse in einer sehr großen Anzahl $n$ von Versuchen mit jeweils sehr geringer Wahrscheinlichkeit aufzeichnet $p$, sodass wir sehr nahe an $1-p=1$ (wirklich $\approx$ ) sind. Dann haben wir $np=\lambda$sagen wir, und $n p (1-p) \approx n p 1 =\lambda$ , so dass der Mittelwert und die Varianz beide gleich $\lambda$ . Dann denken Sie daran, dass für eine poissonverteilte Zufallsvariable Mittelwert und Varianz immer gleich sind! Das ist zumindest ein Plausibilitätsargument für die Poisson-Approximation, aber kein Beweis.

Betrachten Sie es dann von einem anderen Standpunkt aus, dem Poisson-Point-Prozess https://en.wikipedia.org/wiki/Poisson_point_process auf der realen Linie. Dies ist die Verteilung von zufälligen Punkten auf der Linie, die wir erhalten, wenn zufällige Punkte gemäß den Regeln auftreten:

1. Punkte in disjunkten Intervallen sind unabhängig
2. Die Wahrscheinlichkeit eines zufälligen Punktes in einem sehr kurzen Intervall ist proportional zur Länge des Intervalls
3. Die Wahrscheinlichkeit von zwei oder mehr Punkten in einem sehr kurzen Intervall ist im Wesentlichen Null.

Dann ist die Verteilung der Anzahl von Punkten in einem gegebenen Intervall (nicht notwendigerweise kurz) Poisson (wobei der Parameter $\lambda$ proportional zur Länge ist). Wenn wir dieses Intervall in sehr viele, gleichermaßen sehr kurze Teilintervalle ( $n$ ) aufteilen , ist die Wahrscheinlichkeit von zwei oder mehr Punkten in einem gegebenen Teilintervall im wesentlichen Null, so dass diese Zahl in sehr guter Näherung eine Bernolli-Verteilung hat. das heißt, $\text{Bin}(1,p)$ , also ist die Summe von allem $\text{Bin}(n,p)$ , also eine gute Annäherung an die Poisson-Verteilung der Anzahl von Punkten in diesem (langen) Intervall.

Bearbeiten von @Ytsen de Boer (OP): Frage Nr. 2 wird von @ Łukasz Grad zufriedenstellend beantwortet.

Lassen Sie mich eine alternative Heuristik bereitstellen. Ich werde zeigen, wie man den Poisson-Prozess als Binomial approximiert (und argumentieren, dass die Approximation für viele Versuche mit geringer Wahrscheinlichkeit besser ist). Daher muss die Binomialverteilung zur Poissonverteilung tendieren.

Angenommen, Ereignisse finden mit einer konstanten Zeitrate statt. Wir möchten wissen, wie viele Ereignisse an einem Tag aufgetreten sind, und wissen, dass die erwartete Anzahl von Ereignissen $\lambda$ .

Nun, die erwartete Anzahl von Ereignissen pro Stunde ist $\lambda/24$ . Nehmen wir an, dies bedeutet, dass die Wahrscheinlichkeit, dass ein Ereignis in einer bestimmten Stunde $\lambda/24$ beträgt . [es ist nicht ganz richtig, aber es ist eine anständige Annäherung, wenn $\lambda/24 \ll 1$ Grunde genommen, wenn wir annehmen können, dass mehrere Ereignisse nicht in derselben Stunde auftreten]. Dann können wir die Verteilung der Anzahl von Ereignissen als Binomial mit $M=24$ Versuchen mit jeweils einer Erfolgswahrscheinlichkeit $\lambda/24$ approximieren .

Wir verbessern die Annäherung, indem wir unser Intervall auf Minuten umstellen. Dann ist es $p=\lambda/1440$ mit $M=1440$ Versuchen. Wenn $\lambda$ etwa 10 ist, können wir ziemlich sicher sein, dass keine Minute zwei Ereignisse hatte.

Natürlich wird es besser, wenn wir zu Sekunden wechseln. Jetzt betrachten wir jeweils $M=86400$ Ereignisse mit der kleinen Wahrscheinlichkeit $\lambda/86400$ .

Egal wie groß Ihre $\lambda$ sind, kann ich schließlich ein klein genug wählen $\Delta t$ , so dass es sehr wahrscheinlich , dass keine zwei Ereignisse im gleichen Intervall passieren. Dann wird die Binomialverteilung , dass entsprechenden $\Delta t$ wird eine ausgezeichnete Übereinstimmung mit der wahren Poisson - Verteilung sein.

Der einzige Grund, warum sie nicht genau gleich sind, besteht darin, dass die Wahrscheinlichkeit, dass zwei Ereignisse im selben Zeitintervall auftreten, nicht null ist. Angesichts der Tatsache, dass es nur $\lambda$ Ereignisse gibt und diese auf eine Anzahl von Behältern verteilt sind, die viel größer als $\lambda$ , ist es unwahrscheinlich, dass zwei davon im selben Behälter liegen.

Mit anderen Worten, die Binomialverteilung tendiert zur Poisson-Verteilung als $M \to \infty$ wenn die Erfolgswahrscheinlichkeit $p=\lambda/M$ .

Frage 1

Erinnern Sie sich an die Definition der Binomialverteilung:

eine Häufigkeitsverteilung der möglichen Anzahl erfolgreicher Ergebnisse in einer bestimmten Anzahl von Studien, in denen jeweils die gleiche Erfolgswahrscheinlichkeit besteht.

Vergleichen Sie dies mit der Definition der Poisson-Verteilung:

eine diskrete Häufigkeitsverteilung, die die Wahrscheinlichkeit angibt, dass mehrere unabhängige Ereignisse in einer festgelegten Zeit auftreten .

Der wesentliche Unterschied zwischen der 2 und dem Binomial besteht in Versuchen, Poisson über einen Zeitraum t . Wie kann das Limit intuitiv auftreten?$n$$t$

Nehmen wir an, Sie müssen die Bernoulli-Versuche für alle Ewigkeit fortsetzen. Außerdem laufen Sie pro Minute. Pro Minute zählt man jeden Erfolg. Also für alle Ewigkeit Sie führen ein B i n ( p , 30 ) Prozess jede Minute. Mehr als 24 Stunden haben Sie einen B i n ( p , 43200 ) .$n = 30$$Bin(p,30)$$Bin(p,43200)$

Wenn Sie müde werden, werden Sie gefragt, wie viele Erfolge zwischen 18:00 und 19:00 Uhr erzielt wurden. Ihre Antwort könnte , dh Sie liefern die durchschnittlichen Erfolge in einer Stunde. Das klingt für mich sehr nach dem Poisson-Parameter λ .$30*60*p$$\lambda$

Frage 2)

$$\frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \frac{M(M-1)\dots(M - N + 1)}{M^N} = 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M})$$

Nehmen Sie also das Limit für festes $N$

$$\lim_{M \to \infty} \frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \lim_{M \to \infty} 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M}) = 1$$

The problem is that your characterization of the Poisson as a limiting case of the binomial distribution is not quite correct as stated.

The Poisson is a limiting case of the binomial when:

$$M \to \infty \quad \color{red}{\text{and} \quad Mp \to \lambda.}$$ The second part is important. If $p$ remains fixed, the first condition implies that the rate will also increase without bound.

What the Poisson distribution assumes is that events are rare. What we mean by "rare" is not that the rate of events is small--indeed, a Poisson process may have a very high intensity $\lambda$--but rather, that the probability of an event occurring at any instant in time $[t, t + dt)$ is vanishingly small. This is in contrast to a binomial model where the probability $p$ of an event (e.g. "success") is fixed for any given trial.

To illustrate, suppose we model a series of $M$ independent Bernoulli trials each with probability of success $p$, and we look at what happens to the distribution of the number of successes $X$ as $M \to \infty$. For any $N$ as large as we please, and no matter how small $p$ is, the expected number of successes $\operatorname{E}[X] = Mp > N$ for $M > N/p$$M \to \infty$$M$$X$

$$\Pr[X = x] = e^{-\lambda} \frac{\lambda^x}{x!}, \quad x = 0, 1, 2, \ldots$$ as a limiting case of $$\Pr[X = x] = \binom{M}{x} p^x (1-p)^{M-x}, \quad x = 0, 1, 2, \ldots, M$$ by setting $p = \lambda/M$ and letting $M \to \infty$. Other answers here have addressed the intuition behind this relationship and provided computational guidance as well. But it is important that $p = \lambda/M$. You can't ignore this.

I can only attempt a part answer and it is about the intuition for Question 2, not a rigorous proof.

The binomial coefficient gives you the number of samples of size $N$, from $M$, without replacement and without order.

Here though $M$ becomes so large that you may approximate the scenario as sampling with replacement in which case you get $M^N$ ordered samples. If you don't care about the order of the $N$ objects chosen this reduces to $M^N/N!$ because those $N$ objects can be ordered in $N!$ ways.

I think this is the best example that intuitively explains how binomial distribution converges to normal with large number of balls. Here, each ball has equal probability of falling on either side of the peg in each layer and all the balls have to face same number of pegs. It can be easily seen that as the number of balls goes very high the distribution of balls in different sections will be like normal distribution.

My answer to your question 2 is same as the answer given by Lukasz.