MLE von

Sei eine Zufallsstichprobe aus einer Verteilung mit pdf $X_{1},X_{2},X_{3},...,X_{n}$

f (x; α, θ) = \frac{e^{- x / θ}}{θ^{α} Γ (α)} x^{α - 1} I_{(0, \infty)} (x), α, θ > 0

$f(x;\alpha,\theta)=\frac{e^{-x/\theta}}{\theta^{\alpha}\Gamma(\alpha)}x^{\alpha-1}I_{(0,\infty)}(x ),\alpha,\theta>0$

Finden Sie den Maximum-Likelihood-Schätzer für und . Sei $\alpha$ $\theta$ $\Psi(\alpha)=\frac{d\Gamma(\alpha)}{d\alpha}$

Mein Versuch,

\begin{array}{rcl} L (α, θ) & = & \prod_{i = 1}^{n} f (x_{i}) \\ = & \prod_{i = 1}^{n} \frac{e^{- x_{i} / θ}}{θ^{α} Γ (α)} x_{i}^{α - 1} \\ = & \frac{1}{Γ^{n} (α) \cdot θ^{n α}} (\prod_{i = 1}^{n} x_{i})^{α - 1} \exp (- \sum_{i = 1}^{n} \frac{x_{i}}{θ}) \end{array}

$\begin{eqnarray*} \mathcal{L}(\alpha,\theta)&=&\prod_{i=1}^{n}f(x_i)\\ &=&\prod_{i=1}^{n}\frac{e^{-x_i/\theta}}{\theta^{\alpha}\Gamma(\alpha)}x_i^{\alpha-1}\\ &=&\frac{1}{\Gamma^{n}(\alpha)\cdot \theta^{n \alpha}}(\prod_{i=1}^{n}x_i)^{\alpha-1}\exp(-\sum_{i=1}^{n}\frac{x_i}{\theta}) \end{eqnarray*}$

\begin{array}{rcl} ℓ (α, θ) & = & - n \log (Γ (α)) - n α \log (θ) + (α - 1) \sum_{i = 1}^{n} \log (x_{i}) - \frac{1}{θ} \sum_{i = 1}^{n} x_{i} \\ \frac{δ ℓ (α, θ)}{δ θ} & = & - \frac{n α}{θ} + \frac{1}{θ^{2}} \sum_{i = 1}^{n} x_{i} = 0 \\ \frac{1}{θ^{2}} \sum_{i = 1}^{n} x_{i} & = & \frac{n α}{θ} \\ \hat{θ} & = & \frac{\sum_{i = 1}^{n} x_{i}}{n α} \\ = & \frac{1}{α} \bar{x} \end{array}

$\begin{eqnarray*} \ell(\alpha,\theta)&=&-n\log(\Gamma(\alpha))-n\alpha\log(\theta)+(\alpha-1)\sum_{i=1}^{n}\log(x_i)-\frac{1}{\theta}\sum_{i=1}^{n}x_i\\ \frac{\delta \ell(\alpha,\theta)}{\delta \theta}&=&-\frac{n\alpha}{\theta}+\frac{1}{\theta^2}\sum_{i=1}^{n}x_i=0\\ \frac{1}{\theta^2}\sum_{i=1}^{n}x_i&=&\frac{n\alpha}{\theta}\\ \hat{\theta}&=&\frac{\sum_{i=1}^{n}x_i}{n\alpha}\\ &=&\frac{1}{\alpha}\bar{x}\\ \end{eqnarray*}$

\begin{array}{rcl} \frac{d ℓ (α, \hat{θ})}{d α} & = & \frac{- n \cdot Γ^{'} (α)}{Γ (α)} - n \log (\frac{1}{α} \bar{x}) + \sum_{i = 1}^{n} \log (x_{i}) = 0 \\ = & \frac{- n \cdot Γ^{'} (α)}{Γ (α)} + n \log (α) - n \log (\bar{x}) + \sum_{i = 1}^{n} \log (x_{i}) = 0 \\ \log (α) - \frac{Γ^{'} (α)}{Γ (α)} & = & \log (\bar{x}) - \frac{\sum_{i = 1}^{n} \log (x_{i})}{n} \end{array}

$\begin{eqnarray*} \frac{d \ell(\alpha,\hat{\theta})}{d\alpha}&=&\frac{-n \cdot \Gamma'(\alpha)}{\Gamma(\alpha)}-n\log(\frac{1}{\alpha}\bar{x})+\sum_{i=1}^{n}\log(x_i)=0\\ &=&\frac{-n \cdot \Gamma'(\alpha)}{\Gamma(\alpha)}+n\log(\alpha)-n\log(\bar{x})+\sum_{i=1}^{n}\log(x_i)=0\\ \log(\alpha)-\frac{\Gamma'(\alpha)}{\Gamma(\alpha)}&=&\log(\bar{x})-\frac{\sum_{i=1}^{n}\log(x_i)}{n} \end{eqnarray*}$

Ich konnte nicht mehr fortfahren, um das $\alpha$ . Zweitens weiß ich nicht, wie man $\Psi(\alpha)=\frac{d\Gamma(\alpha)}{d\alpha}$ wie in der Frage angegeben. Hoffe jemand kann es mir erklären.

Danke im Voraus.

— Mathxx
quelle

Man müsste auf numerische Methoden zurückgreifen, um die MLE von .

α

$\alpha$

— Hartnäckig

Sie schreiben als

Ψ (α)

$\Psi(\alpha)$

Γ^{'} (α)

$\Gamma'(\alpha)$

— Taylor

Könnte Ihnen gesagt worden sein, dass Sie die Digammafunktion anstelle Ihres ? Das würde für mich sinnvoller sein

ψ (x) = \frac{Γ^{'} (x)}{Γ (x)}

$\psi(x) = \frac{\Gamma'(x)}{\Gamma(x)}$

Ψ

$\Psi$

— am

@Chaconne Ich denke, die Frage hat Tippfehler. Es sollte psi anstelle von Psi sein.

— Mathxx

@ Taylor Ich dachte ?

ψ (α) = \frac{Γ^{'} (α)}{Γ (α)}

$\psi(\alpha)=\frac{\Gamma'(\alpha)}{\Gamma(\alpha)}$

— Mathxx

Lassen Sie also ist die Digammafunktion (ich verwende anstelle Ihres ). $\psi(\alpha) = \frac{\Gamma'(\alpha)}{\Gamma(\alpha)}$ $\psi$ $\psi$ $\Psi$

Durch die AM-GM-Ungleichung also (wobei und sind fast sicher definiert). Darüber hinaus gilt die Gleichheit nur für was ein Ereignis mit einer Wahrscheinlichkeit von , sodass fast sicher ist.

\bar{x} \geq {(\prod_{i} x_{i})}^{1 / n}

$\bar x \geq \left(\prod_i x_i\right)^{1/n}$

\log \bar{x} - \bar{\log x} \geq 0

$\log \bar x - \overline{\log x} \geq 0$

\log \bar{x}

$\log \bar x$

\log x_{i}

$\log x_i$

x_{1} = \dots = x_{n}

$x_1=\dots=x_n$

0

$0$

\log \bar{x} - \bar{\log x} > 0

$\log \bar x - \overline{\log x} > 0$

Der Einfachheit halber nehme ich . $y = \log \bar x - \overline{\log x}$

Betrachten Sie on . Dies ist stetig und so dass durch den Zwischenwertsatz jede reelle Zahl in trifft . Dies bedeutet insbesondere, dass dh es gibt mindestens einen Punkt in , der , da . $f(\alpha) = \log(\alpha) - \psi(\alpha)$ $(0,\infty)$

lim_{α \to 0} f (α) = \infty

$\lim_{\alpha\to 0} f(\alpha) = \infty$

lim_{α \to \infty} f (α) = 0

$\lim_{\alpha\to\infty} f(\alpha) = 0$

f

$f$

(0, \infty)

$(0,\infty)$

f^{- 1} ({y}) \neq \emptyset

$f^{-1}\left(\left\{y\right\}\right) \neq \emptyset$

(0, \infty)

$(0,\infty)$

y

$y$

y > 0

$y > 0$

Darüber hinaus stellt sich heraus, dass auf als injektiv ist so dass es tatsächlich ein eindeutiges mit . $f$ $(0,\infty)$ $f' < 0$ $\hat \alpha$ $f(\hat\alpha) = y$

Um dieses finden, sind jedoch numerische Methoden erforderlich, wie @StubbornAtom sagt. $\hat \alpha$

— jld
quelle

+1 Schöne Analyse. Angesichts der Asymptotik von und würde ich wärmstens empfehlen, die Lösung von indem die Wurzel von numerisch gefunden wird da dies extrem linear sein wird (mit Steigung bei großen Werten).

Γ

$\Gamma$

ψ,

$\psi,$

\log (x) - ψ (x) = C

$\log(x) - \psi(x) = C$

\frac{1}{\log (x) - ψ (x)} - \frac{1}{C},

$\frac{1}{\log(x) - \psi(x)} - \frac{1}{C},$

2

$2$

— whuber