Poisson ist zu exponentiell wie Gamma-Poisson zu was?

Eine Poisson-Verteilung kann Ereignisse pro Zeiteinheit messen, und der Parameter ist . Die Exponentialverteilung misst die Zeit bis zum nächsten Ereignis mit dem Parameter . Man kann eine Distribution in die andere konvertieren, je nachdem, ob es einfacher ist, Ereignisse oder Zeiten zu modellieren. $\lambda$ $\frac{1}{\lambda}$

Nun ist ein Gamma-Poisson ein "gedehntes" Poisson mit einer größeren Varianz. Eine Weibull-Verteilung ist ein "gestrecktes" Exponential mit einer größeren Varianz. Aber können diese beiden einfach ineinander umgewandelt werden, genauso wie Poisson in Exponential umgewandelt werden kann?

Oder gibt es eine andere Verteilung, die in Kombination mit der Gamma-Poisson-Verteilung besser geeignet ist?

Das Gamma-Poisson ist auch als negative Binomialverteilung oder NBD bekannt.

— Radfahrer
quelle

Antworten:

Dies ist ein ziemlich einfaches Problem. Obwohl es einen Zusammenhang zwischen der Poisson- und der Negative Binomial-Verteilung gibt, halte ich dies für Ihre spezifische Frage für wenig hilfreich, da es die Leute dazu ermutigt, über negative Binomial-Prozesse nachzudenken. Grundsätzlich haben Sie eine Reihe von Poisson-Prozessen:

Y_{i} (t_{i}) | λ_{i} \sim P o i s s o n (λ_{i} t_{i})

$Y_i(t_i)|\lambda_i\sim Poisson(\lambda_i t_i)$

Wobei der Prozess ist und die Zeit, zu der Sie ihn beobachten, und die Individuen bezeichnet. Und Sie sagen, dass diese Prozesse "ähnlich" sind, indem Sie die Raten durch eine Verteilung miteinander verknüpfen: $Y_i$ $t_i$ $i$

λ_{i} \sim G a m m a (α, β)

$\lambda_i\sim Gamma(\alpha,\beta)$

Wenn Sie die Integration / Mischung über , haben Sie: $\lambda_i$

Y_{i} (t_{i}) | α β \sim N e g B i n (α, p_{i}) w h e r e p_{i} = \frac{t_{i}}{t_{i} + β}

$Y_i(t_i)|\alpha\beta\sim NegBin(\alpha,p_i)\;\;\; where \;\;p_i=\frac{t_i}{t_i+\beta}$

Dies hat eine pmf von:

P r (Y_{i} (t_{i}) = y_{i} | α β) = \frac{Γ (α + y_{i})}{Γ (α) y_{i}!} p_{i}^{y_{i}} (1 - p_{i})^{α}

$Pr(Y_i(t_i)=y_i|\alpha\beta) = \frac{\Gamma(\alpha+y_i)}{\Gamma(\alpha)y_i!}p_i^{y_i}(1-p_i)^\alpha$

Um die Wartezeitverteilung zu erhalten, beachten wir Folgendes:

P r (T_{i} \leq t_{i} | α β) = 1 - P r (T_{i} > t_{i} | α β) = 1 - P r (Y_{i} (t_{i}) = 0 | α β)

$Pr(T_i\leq t_i|\alpha\beta)=1-Pr(T_i> t_i|\alpha\beta)=1-Pr(Y_i(t_i)=0|\alpha\beta)$

= 1 - (1 - p_{i})^{α} = 1 - {(1 + \frac{t_{i}}{β})}^{- α}

$=1-(1-p_i)^\alpha=1-\left(1+\frac{t_i}{\beta}\right)^{-\alpha}$

Unterscheide dies und du hast das PDF:

p_{T_{i}} (t_{i} | α β) = \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)}

$p_{T_i}(t_i|\alpha\beta)=\frac{\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}$

Dies ist ein Mitglied der generalisierten Pareto-Distributionen, Typ II. Ich würde dies als Wartezeitverteilung verwenden.

Um die Verbindung mit der Poisson-Verteilung zu sehen, beachten Sie, dass ist. Wenn Sie also einstellen, und nimm dann das Limit wir bekommen: $\frac{\alpha}{\beta}=E(\lambda_i|\alpha\beta)$ $\beta=\frac{\alpha}{\lambda}$ $\alpha\to\infty$

lim_{α \to \infty} \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)} = lim_{α \to \infty} λ {(1 + \frac{λ t_{i}}{α})}^{- (α + 1)} = λ \exp (- λ t_{i})

$\lim_{\alpha\to\infty}\frac{\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}=\lim_{\alpha\to\infty}\lambda\left(1+\frac{\lambda t_i}{\alpha}\right)^{-(\alpha+1)}=\lambda\exp(-\lambda t_i)$

Dies bedeutet, dass Sie als interpretieren können . $\frac{1}{\alpha}$

— Wahrscheinlichkeitslogik
quelle

Sie können auch feststellen, dass die Wartezeitverteilung grob gesagt eine Exponentialverteilung mit einem Gamma-Zufallsratenparameter ist, und genau genommen ist dies eine Beta-Verteilung der zweiten Art, wie für jede Gamma-Verteilung mit einem Gamma-Zufallsratenparameter.

— Stéphane Laurent

Auf der Grundlage von @probabilityislogic fand ich den folgenden Artikel, in dem die Beziehung zwischen NBD und Pareto näher erläutert wird: Gupta, Sunil und Donald G. Morrison. Schätzung von Heterogeneith in den Kaufpreisen der Verbraucher. Marketing Science, 1991, 10 (3), 264 & ndash; 269. Vielen Dank an alle, die mir geholfen haben, diese Frage zu beantworten.

— zbicyclist

+1, ich denke, diese schöne analytische Form existiert möglicherweise nicht mehr für , wobei eine Konstante ist.

P o i s s o n (λ_{i} t_{i} + c)

$Poisson(\lambda_i t_i + c)$

c

$c$

— Randel

@randel - Sie könnten eine "nette" Form erhalten, indem Sie feststellen, dass dieses rv die Summe von zwei unabhängigen rvs ist ... wobei dasselbe wie oben ist und . Da nicht von oder ist das pdf von die Faltung des obigen negativen Binomial-pdf und eines Poisson-pdf. Um die Wartezeitverteilung zu erhalten, multiplizieren Sie einfach in der obigen Antwort mit . Sie erhalten dann Wartezeit cdf von und pdf von

Z_{i} = Y_{i} + X_{i}

$Z_i=Y_i+X_i$

Y_{i}

$Y_i$

X_{i} \sim p o i s s o n (c)

$X_i\sim poisson (c)$

X_{i}

$X_i$

λ_{i}

$\lambda_i$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

P r (Y_{i} = 0)

$Pr(Y_i=0)$

P r (X_{i} = 0) = e^{- c}

$Pr(X_i=0)=e^{-c}$

1 - e^{- c} {(1 + \frac{t_{i}}{β})}^{- α}

$1-e^{-c}\left(1+\frac{t_i}{\beta}\right)^{-\alpha}$

e^{- c} \frac{α}{β} {(1 + \frac{t_{i}}{β})}^{- (α + 1)}

$e^{-c}\frac {\alpha}{\beta}\left(1+\frac{t_i}{\beta}\right)^{-(\alpha+1)}$ .

— Wahrscheinlichkeitslogik

In Bezug auf die Mischungsverteilung funktioniert dies nicht, da Sie benötigen (sonst ist der Poisson-Mittelwert negativ). Die Gamma-Mischungsverteilung müsste abgeschnitten werden (ich habe in meiner vorherigen Antwort auch angenommen, dass ). Dies würde keine nb-Verteilung bedeuten.

λ_{i} < c t_{i}^{- 1}

$\lambda_i <ct_i^{-1}$

c > 0

$c>0$

— Wahrscheinlichkeitslogik

Eine Möglichkeit: Poisson ist zu exponentiell wie Negativ-Binomial zu ... exponentiell!

Es gibt einen reinsprungsteigernden Lévy-Prozess, der als negativer Binomialprozess bezeichnet wird, so dass der Wert zum Zeitpunkt eine negative Binomialverteilung aufweist. Im Gegensatz zum Poisson-Verfahren sind die Sprünge nicht mit ziemlicher Sicherheit . Stattdessen folgen sie einer logarithmischen Verteilung . Nach dem Gesetz der totalen Varianz ergibt sich ein Teil der Varianz aus der Anzahl der Sprünge (skaliert mit der durchschnittlichen Größe der Sprünge), und ein Teil der Varianz ergibt sich aus der Größe der Sprünge, und Sie können dies verwenden, um dies zu überprüfen ist überdispergiert. $t$ $1$

Es kann andere nützliche Beschreibungen geben. Siehe "Festlegung der negativen Binomialverteilung für die DNA-Sequenzierung".

Lassen Sie mich genauer erläutern, wie der oben beschriebene Negative Binomial Process aufgebaut werden kann.

Wählen Sie . $p \lt 1$
Sei IID mit logarithmischen Verteilungen, so dass $X_1, X_2, X_3, ...$ $P(x_i = k) = \frac{-1}{\log(1-p)} \frac{p^k}{k}.$
Sei ein Poisson-Prozess mit konstanter Rate , so ist $N$ $-\log(1-p)$ $N(t) = \text{Pois}(-t \log(1-p)).$
Lassen Sie der Prozess sein, damit $NBP$

N B P (t) = \sum_{i = 1}^{N (t)} X_{i} .

$NBP(t) = \sum_{i=1}^{N(t)} X_i.$

$NBP$ ist ein reiner Sprungprozess mit logarithmisch verteilten Sprüngen. Die Lücken zwischen den Sprüngen folgen einer Exponentialverteilung mit rate $-\log(1-p).$

Ich denke nicht, dass es aus dieser Beschreibung ersichtlich ist, dass eine negative binomiale -Verteilung hat, aber es gibt einen kurzen Beweis, der Wahrscheinlichkeitsfunktionen in Wikipedia verwendet , und Fisher hat dies auch bewiesen, als er das einführte logarithmische Verteilung zur Analyse der relativen Häufigkeit von Arten. $NBP(t)$ $NB(t,p)$

— Douglas Zare
quelle

Nein, ein zusammengesetzter Poisson-Prozess hat eine exponentielle Wartezeit. Dies bedeutet, dass Sie IID-Zufallsvariablen mit einer gewissen Verteilung hinzufügen .

Pois (λ t)

$\text{Pois}(\lambda t)$

— Douglas Zare

Nein, das ist nicht mit einem zusammengesetzten Poisson-Prozess gemeint. en.wikipedia.org/wiki/Compound_Poisson_process "Die Sprünge kommen zufällig nach einem Poisson-Verfahren an und die Größe der Sprünge ist ebenfalls zufällig mit einer festgelegten Wahrscheinlichkeitsverteilung." Ich habe nicht gesagt, IID Poisson-Variablen. Sie nehmen die te Teilsumme logarithmischer IID-Zufallsvariablen, wobei der Wert eines Poisson-Prozesses ist.

N

$N$

N

$N$

— Douglas Zare

Wenn Sie einen Poisson-Prozess mit multiplizieren , ist dies kein Poisson-Prozess und die Wartezeiten bleiben exponentiell.

2

$2$

— Douglas Zare

Lassen Sie uns diese Diskussion im Chat fortsetzen

— Douglas Zare

Ich kann noch keinen Kommentar abgeben und entschuldige mich, dass dies keine endgültige Lösung ist.

Sie fragen nach der geeigneten Distribution, die mit einem NB verwendet werden soll, die jedoch nicht vollständig definiert ist. Wenn eine geeignete Verteilung zur Erklärung der Daten geeignet ist und Sie mit einem überdispersen Poisson beginnen, müssen Sie möglicherweise die Ursache der Überdispersion genauer untersuchen. Der NB unterscheidet nicht zwischen einem Poisson mit heterogenen Mitteln oder einer positiven Auftrittsabhängigkeit (das Eintreten eines Ereignisses erhöht die Wahrscheinlichkeit des Auftretens eines anderen Ereignisses). In der ununterbrochenen Zeit gibt es auch eine Zeitabhängigkeit, zB bedeutet eine positive Zeitabhängigkeit, dass der Zeitablauf die Wahrscheinlichkeit eines Auftretens erhöht. Es wurde auch gezeigt, dass eine negative Dauerabhängigkeit asymptotisch zu einem überdispersen Poisson führt [1] . Dies fügt der Liste das geeignete Wartezeitmodell hinzu.

— Bradsher der Wiesenlerche
quelle

Ursache der Überdispersion: Hierbei handelt es sich um Kaufdaten des Verbrauchers. Einzelverbraucher sind Giftverbraucher mit jeweils einer Kaufrate von Lambda. Aber nicht jeder Verbraucher hat das gleiche Lambda - das ist die Ursache für die Überdispersion. Die Lambda-Kaufraten gelten als Gamma-Verteilung. Dies ist ein weit verbreitetes Modell (geht auf ASC Ehrenberg zurück), aber ich habe in seinem Schreiben nichts gefunden, was diese Frage beantwortet.

— zbicyclist