Wechseln Sie von der Modellierung eines Prozesses mit einer Poisson-Verteilung zur Verwendung einer negativen Binomialverteilung?

$\newcommand{\P}{\mathbb{P}}$Wir haben einen zufälligen Prozess, der in einem festgelegten Zeitraum mehrmals auftreten kann oder auch nicht . Wir haben einen Datenfeed von einem bereits existierenden Modell dieses Prozesses, der die Wahrscheinlichkeit für eine Anzahl von Ereignissen in der Periode liefert . Dieses bestehende Modell ist alt und wir müssen die Feed-Daten auf Schätzfehler überprüfen. Das alte Modell, das den Datenfeed erzeugt (der die Wahrscheinlichkeit des Auftretens von Ereignissen in der verbleibenden Zeit liefert ), ist ungefähr Poisson-verteilt.$T$n $0 \leq t < T$$n$$t$

So prüfen für Anomalien / Fehler, lassen wir die Zeit sein , zu bleiben und X t die Gesamtzahl der Ereignisse werden in der verbleibenden Zeit auftreten t . Das alte Modell impliziert die Schätzungen P ( X t ≤ c ) . Unter der Annahme wir also: Um unsere Ereignisrate aus der Ausgabe des alten Modells (Beobachtungen ) abzuleiten , verwenden wir einen Zustandsraumansatz und modellieren die Zustandsbeziehung wie : $t$$X_t$$t$$\P(X_t \leq c)$P ( X t ≤ c ) = e - λ c Σ k = 0 λ k $X_t\sim \operatorname{Poisson}(\lambda_{t})$& lgr; t y t y t = & lgr; t + & egr;

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ $\lambda_t$$y_{t}$ $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Wir filtern die Beobachtungen aus dem alten Modell, einen Zustandsraum [konstante Geschwindigkeit Zerfall] Modell für die Entwicklung des des gefilterten Zustand zu erhalten und Flagge eines Anomalie / Fehler in der geschätzten Ereignisfrequenz von die die Feed-Daten, wenn . E ( λ t | Y t ) E ( λ t | Y t ) < y $\lambda_t$$E(\lambda_t|Y_t)$$E(\lambda_t|Y_t) < y_t$

Dieser Ansatz funktioniert hervorragend , wenn es darum geht, Fehler in der geschätzten Ereignisanzahl über den gesamten Zeitraum , aber nicht so gut, wenn wir dasselbe für einen anderen Zeitraum tun möchten. where . Um dies zu umgehen, haben wir uns entschlossen, auf die negative Binomialverteilung umzuschalten, sodass wir nun annehmen und haben: \ P (X_ {t} \ leq c) = p ^ {r} \ sum_ {k = 0} ^ c (1 - p) ^ {k} \ binom {k + r -1} {r - 1}, wobei der Parameter \ lambda jetzt durch r und p ersetzt wird0 ≤ t < σ σ < $T$$0 \leq t < \sigma$Xt~NB(r,p)P(Xt≤c)=pr c Σ k=0(1-p)k ( k+r-$\sigma < \frac{2}{3} T$$X_t\sim NB(r, p)$λr

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ $\lambda$$r$$p$. Dies sollte einfach zu implementieren sein, aber ich habe einige Schwierigkeiten mit der Interpretation und daher habe ich einige Fragen, bei denen ich Sie bitten würde, zu helfen:

1. Können wir in der negativen Binomialverteilung nur ? Wenn nein, warum nicht? $p = \lambda$

2. Angenommen, wir können wobei eine Funktion ist. Wie können wir richtig setzen (müssen wir Verwendung früherer Datensätze anpassen)? f r $p = f(\lambda)$$f$$r$$r$

3. Ist abhängig von der Anzahl der Ereignisse, die wir während eines bestimmten Prozesses erwarten?$r$

---

Anhang zum Extrahieren von Schätzungen für (und ):$r$$p$

Ich bin mir bewusst, dass wir den Maximum-Likelihood-Schätzer für und übernehmen könnten, wenn wir dieses Problem tatsächlich umkehren und die Ereignisanzahl für jeden Prozess hätten . Natürlich gibt es den Maximum Likelihood Estimator nur für Stichproben, bei denen die Stichprobenvarianz größer als der Stichprobenmittelwert ist, aber wenn dies der Fall wäre, könnten wir die Likelihood-Funktion für unabhängige, identisch verteilte Beobachtungen as: woraus wir die log-Wahrscheinlichkeitsfunktion schreiben können als: $r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Um das Maximum zu finden, nehmen wir die partiellen Ableitungen in Bezug auf und und setzen sie gleich Null: Setting und Setting wir finden: $r$$p$ $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$ $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Diese Gleichung kann nicht in geschlossener Form mit Newton oder sogar EM für r gelöst werden. Dies ist jedoch in dieser Situation nicht der Fall. Obwohl wir die Vergangenheitsdaten verwenden könnten , um ein statisches und dies für unseren Prozess nicht wirklich von Nutzen, aber wir müssen diese Parameter zeitlich anpassen, wie wir es bei Poisson getan haben. $r$$p$

Die negative Binomialverteilung ist dem Binomialwahrscheinlichkeitsmodell sehr ähnlich. Sie ist anwendbar, wenn die folgenden Annahmen (Bedingungen) zutreffen. 1) Jedes Experiment wird unter denselben Bedingungen durchgeführt, bis eine feste Anzahl von Erfolgen (z. B. C) erreicht ist. 2) Das Ergebnis jedes Experiments kann in eine der beiden Kategorien eingeteilt werden Erfolg oder Misserfolg 3) Die Erfolgswahrscheinlichkeit P ist für jedes Experiment gleich. 40Jedes Experiment ist unabhängig von allen anderen. Die erste Bedingung ist der einzige entscheidende Unterscheidungsfaktor zwischen Binom und negativem Binom

Die Poisson-Verteilung kann unter bestimmten Bedingungen eine vernünftige Annäherung an das Binom sein. 1) Die Erfolgswahrscheinlichkeit für jeden Versuch ist sehr gering. P -> 0 2) np = m (say) is finete Die von Statistikern am häufigsten verwendete Regel lautet, dass die Poisson eine gute Annäherung an das Binomial ist, wenn n gleich oder größer als 20 und p gleich oder kleiner als 5 ist %