Welche Distributionen haben geschlossene Lösungen für die Abschätzung der maximalen Wahrscheinlichkeit?

21

Welche Verteilungen haben geschlossene Lösungen für die Maximum-Likelihood-Schätzungen der Parameter aus einer Stichprobe unabhängiger Beobachtungen?

distributions mathematical-statistics maximum-likelihood

— Oberst Panic
quelle

25

Ohne nennenswerten Verlust der Allgemeinheit können wir annehmen, dass die Wahrscheinlichkeitsdichte (oder Masse) für jede Beobachtung (von Beobachtungen) streng positiv ist, was es uns ermöglicht, sie als Exponential zu schreiben $f(x_i)$ $x_i$ $n$

f (x_{i}) = \exp (g (x_{i}, θ))

$f(x_i) = \exp{(g(x_i,\theta))}$

für einen Parametervektor . $\theta = (\theta_j)$

Das Gleichsetzen des Gradienten der logarithmischen Wahrscheinlichkeitsfunktion mit Null (die stationäre Punkte der Wahrscheinlichkeit findet, unter denen sich alle inneren globalen Maxima befinden, falls eines existiert) ergibt einen Satz von Gleichungen der Form

\sum_{i} \frac{d g (x_{i}, θ)}{d θ_{j}} = 0,

$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$

eine für jeden . Damit eine dieser Bedingungen , möchten wir in der Lage sein, die -Terme von den -Termen zu trennen . (Alles ergibt sich aus dieser Schlüsselidee, die durch das Prinzip der mathematischen Faulheit motiviert ist : Machen Sie so wenig Arbeit wie möglich; denken Sie vor dem Rechnen voraus; packen Sie zuerst einfache Versionen schwieriger Probleme an.) Der allgemeinste Weg, dies zu tun, besteht darin, die Gleichungen zu erstellen die Form $j$ $x_i$ $\theta$

\sum_{i} (η_{j} (θ) τ_{j} (x_{i}) - α_{j} (θ)) = η_{j} (θ) \sum_{i} τ_{j} (x_{i}) - n α_{j} (θ)

$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$

für bekannte Funktionen , und , denn dann wird die Lösung durch Lösen der simultanen Gleichungen erhalten $\eta_j$ $\tau_j$ $\alpha_j$

\frac{n α_{j} (θ)}{η_{j} (θ)} = \sum_{i} τ_{j} (x_{i})

$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$

für . Im Allgemeinen werden diese schwer zu lösen sein, vorausgesetzt, die Menge der Werte von $\theta$ vollständige Informationen über, wir könnten diesen Vektor einfachanstelle vonselbst verwenden (wodurch die Idee einer "geschlossenen Form" -Lösung etwas verallgemeinert wird, aber auf eine hochproduktive Weise). In einem solchen Fallergibt dieIntegration in Bezug auf $\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$ $\theta$ $\theta$ $\theta_j$

g (x, θ) = τ_{j} (x) \int^{θ} η_{j} (θ) d θ_{j} - \int^{θ} α_{j} (θ) d θ_{j} + B (x, θ_{j}^{'})

$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$

(wobei für alle Komponenten von Ausnahme von ; steht ). Da die linke Seite funktionell unabhängig ist , müssen wir haben gezeigt, dass für einige feste Funktion ; dass überhaupt nicht von abhängen darf ; und sind Derivate einer Funktion und der sind Derivate von irgendeiner anderen Funktion $\theta_j'$ $\theta$ $\theta_j$ $\theta_j$ $\tau_j(x)=T(x)$ $T$ $B$ $\theta$ $\eta_j$ $H(\theta)$ $\alpha_j$ , beide funktional unabhängig von den Daten. Woher $A(\theta)$

g (x, θ) = H (θ) T (x) - A (θ) + B (x) .

$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$

Dichten, die in dieser Form geschrieben werden können, bilden die bekannte Koopman-Pitman-Darmois- oder Exponentialfamilie . Es umfasst wichtige Parameterfamilien, sowohl kontinuierliche als auch diskrete, einschließlich Gamma, Normal, Chi-Quadrat, Poisson, Multinomial und viele andere .

— whuber
quelle

Und für diejenigen, die keine geschlossenen Formulare haben, können wir den EM-Algorithmus verwenden. Betrachten Sie zum Beispiel das Null-aufgepumpte Poisson-Modell: stats.stackexchange.com/questions/32133/…

— Damien

0

Ich weiß nicht, ob ich sie alle auflisten könnte. Das Exponentielle, das Normale und das Binomiale fallen in die Klasse der Exponentialfamilien. Die Exponentialfamilie hat eine ausreichende Statistik im Exponenten und die mle ist oft eine nette Funktion dieser ausreichenden Statistik.

— Michael R. Chernick
quelle

8

Diese Frage ist unglaublich weit gefasst, aber es scheint, als würde das OP fragen, was eine Distribution auszeichnet, die eine geschlossene Lösung für die MLE bietet, anstatt eine vollständige Liste anzufordern. Eine vollständige Auflistung ist jedenfalls nicht möglich.

— Makro

2

[\log x \log (1 - x)]^{T}

$[\log x\; \log (1-x)]^{\rm T}$

a

$a$

b

$b$

Danke Neil, dass er darauf hingewiesen hat. Ich denke nicht alle exponentiellen Familienverteilungen haben geschlossene Lösungen.

— Michael R. Chernick