Ein unmögliches Schätzproblem?

Frage

Die Varianz einer negativen Binomialverteilung (NB) ist immer größer als ihr Mittelwert. Wenn der Mittelwert einer Stichprobe größer als ihre Varianz ist, schlägt der Versuch fehl, die Parameter einer NB mit maximaler Wahrscheinlichkeit oder mit Momentschätzung anzupassen (es gibt keine Lösung mit endlichen Parametern).

Es ist jedoch möglich, dass eine Stichprobe aus einer NB-Verteilung einen Mittelwert hat, der größer als die Varianz ist. Hier ist ein reproduzierbares Beispiel in R.

set.seed(167)
x = rnbinom(100, size=3.2, prob=.8);
mean(x) # 0.82
var(x) # 0.8157576

Es besteht eine Wahrscheinlichkeit ungleich Null, dass der NB eine Stichprobe erstellt, für die keine Parameter geschätzt werden können (nach Maximum-Likelihood- und Moment-Methoden).

Können für diese Stichprobe angemessene Schätzungen abgegeben werden?
Was sagt die Schätzungstheorie, wenn nicht für alle Stichproben Schätzer definiert sind?

Über die Antwort

Die Antworten von @MarkRobinson und @Yves haben mir klar gemacht, dass Parametrisierung das Hauptproblem ist. Die Wahrscheinlichkeitsdichte des NB wird normalerweise als geschrieben

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} (1 - p)^{r} p^{k}

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!}(1-p)^rp^k$ oder als

P (X = k) = \frac{Γ (r + k)}{Γ (r) k!} {(\frac{r}{r + m})}^{r} {(\frac{m}{r + m})}^{k} .

$P(X = k) = \frac{\Gamma(r+k)}{\Gamma(r)k!} \left(\frac{r}{r+m}\right)^r \left(\frac{m}{r+m}\right)^k.$

Bei der ersten Parametrisierung ist die maximale Wahrscheinlichkeitsschätzung immer dann wenn die Varianz der Stichprobe kleiner als der Mittelwert ist, so dass über nichts Sinnvolles gesagt werden kann . Im zweiten Fall ist es , sodass wir eine vernünftige Schätzung von . Schließlich zeigt @MarkRobinson, dass wir das Problem der unendlichen Werte lösen können, indem wir anstelle von . $(\infty, 0)$ $p$ $(\infty, \bar{x})$ $m$ $\frac{r}{1+r}$ $r$

Zusammenfassend lässt sich sagen, dass dieses Schätzungsproblem nicht grundsätzlich falsch ist, außer dass Sie nicht immer für jede Stichprobe eine aussagekräftige Interpretation von und angeben können. Um fair zu sein, sind die Ideen in beiden Antworten vorhanden. Ich habe das von @MarkRobinson als das richtige für die Ergänzungen gewählt, die er gibt. $r$ $p$

estimation maximum-likelihood negative-binomial

— gui11aume
quelle

Es ist falsch zu behaupten, dass die maximale Wahrscheinlichkeit in einem solchen Fall ausfällt. Nur-Moment-Methoden können auf Schwierigkeiten stoßen.

— Xi'an,

@ Xi'an Kannst du erweitern? Die Wahrscheinlichkeit , dass diese Probe hat kein Maximum in der Domäne (siehe auch diese zum Beispiel). Vermisse ich etwas? In jedem Fall werde ich die Frage aktualisieren, wenn Sie die ML-Schätzungen der Parameter für diesen Fall angeben können.

(0, \infty) \times (0, 1)

$(0,\infty) \times (0,1)$

— gui11aume

Die Wahrscheinlichkeit kann ihr Maximum bei unendlicher Entfernung für und . Ein ähnliches Problem, jedoch mit einfacherer Diagnose, betrifft die Lomax-Verteilung : Es ist bekannt, dass die ML-Schätzung der Form unendlich ist, wenn die Probe einen Variationskoeffizienten . Die Wahrscheinlichkeit dieses Ereignisses ist jedoch für jede Stichprobengröße positiv und beispielsweise für und recht .

p \to 0

$p \to 0$

r \to \infty

$r \to \infty$

CV < 1

$\text{CV} < 1$

α = 20

$\alpha = 20$

n = 200

$n = 200$

— Yves

@Yves Danke für dieses andere Beispiel (das mir nicht bekannt war). Was machen die Leute in diesem Fall?

— gui11aume

Im Lomax-Beispiel würden einige Leute die Exponentialverteilung verwenden, die die Grenze für und . Dies läuft darauf hinaus, eine unendliche ML-Schätzung zu akzeptieren. Aus Gründen der Invarianz durch Neuparametrisierung glaube ich, dass unendliche Parameter in einigen Fällen sinnvoll sein können. Dasselbe gilt für Ihr NB-Beispiel, wenn wir die Poisson-Verteilung verwenden, die sich aus ergibt .

α \to \infty

$\alpha \to \infty$

λ / α \to θ > 0

$\lambda / \alpha \to \theta >0$

r p / (1 - p) \to λ

$rp/(1-p) \to \lambda$

— Yves

Antworten:

Grundsätzlich befindet sich für Ihre Stichprobe die Schätzung des Größenparameters an der Grenze des Parameterraums. Man könnte auch eine Neuparametrisierung in Betracht ziehen wie d = size / (size + 1); Wenn Größe = 0, d = 0, wenn Größe gegen Unendlich geht, nähert sich d 1. Es stellt sich heraus, dass für die von Ihnen angegebenen Parametereinstellungen in etwa 13% der Fälle Unendlich (d nahe 1) auftritt Cox-Reid-Schätzungen der angepassten Profilwahrscheinlichkeit (APL), die eine Alternative zu MLE-Schätzungen für NB darstellen (hier gezeigtes Beispiel) . Die Schätzungen des mittleren Parameters (oder 'prob') scheinen in Ordnung zu sein (siehe Abbildung, blaue Linien sind die wahren Werte, roter Punkt ist die Schätzung für Ihren Samen = 167 Probe). Weitere Details zur APL-Theorie finden Sie hier .

Also würde ich zu 1 sagen: Angemessene Parameterschätzungen sind möglich. Größe = unendlich oder Streuung = 0 ist eine vernünftige Schätzung für die Stichprobe. Betrachten Sie einen anderen Parameterraum und die Schätzungen sind endlich.

— Mark Robinson
quelle

Vielen Dank, dass Sie sich auf der Website angemeldet haben, um meine Frage zu beantworten! Das Detail der Cox-Reid-angepassten Profilwahrscheinlichkeit sieht sehr vielversprechend aus.

— gui11aume

$p \to 0$ $r \to \infty$ $\Theta := (0,\,1)\times(0,\,\infty)$ $\lambda >0$ $[p,\,r] \in \Theta$ $p \to 0$ $r \to \infty$ $rp/(1-p) \to \lambda$

$\text{CV} < 1$ $>0.3$ $\alpha = 20$ $n = 200$

ML-Eigenschaften gelten für eine große Stichprobengröße: Unter Regularitätsbedingungen wird gezeigt, dass eine ML-Schätzung existiert, eindeutig ist und zum wahren Parameter tendiert. Für eine gegebene endliche Stichprobengröße kann es jedoch vorkommen, dass die ML-Schätzung in der Domäne nicht existiert, z. B. weil das Maximum an der Grenze erreicht ist. Es kann auch in einer Domäne vorhanden sein, die größer als die für die Maximierung verwendete ist.

$\alpha \to \infty$ $\lambda / \alpha \to \theta >0$ $\text{GPD}(\sigma,\,\xi)$ $\xi >0$ $\widehat{\xi} < 0$ $\widehat{\xi} = 0$

Aus Gründen der Invarianz durch Neuparametrisierung glaube ich, dass unendliche Parameter in einigen Fällen sinnvoll sein können.

— Yves
quelle