Maximum-Likelihood-Schätzer des Standortparameters der Cauchy-Verteilung

Ich habe bis erreicht

$$\frac{d\ln L}{d\mu}=\sum_{i=1}^n \frac{2(x_i-u)}{1+(x_i-u)^2}$$

Wobei $u$ Standortparameter ist. Und $L$ ist die Wahrscheinlichkeitsfunktion. Ich verstehe nicht, wie ich vorgehen soll. Bitte helfen Sie.

Ok, sagen wir das PDF für das Cauchy ist:

hier istθ derMedian, nicht der Mittelwert, da für Cauchy der Mittelwert undefiniert ist.$f(x;\theta)=\frac{1}{\pi}\frac{1}{1+(x-\theta)^2}$$\theta$

$$L(\theta;x)=\frac{1}{\pi}\frac{1}{1+(x_1-\theta)^2}\frac{1}{\pi}\frac{1}{1+(x_2-\theta)^2}\cdots\frac{1}{\pi}\frac{1}{1+(x_n-\theta)^2}\\=\frac{1}{\pi^n} \frac{1}{\prod[1+(x_i-\theta)^2]}$$

$$\ell(\theta;x)=-n\log\pi-\sum_{i=1}^n\log[1+(x_i-\theta)^2]$$

$$\frac{d\ell(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$$

Dies ist genau das, was Sie haben, außer hier ist Median, nicht der Mittelwert. Ich nehme an, du bist der Median in deiner Formel.$\theta$$u$

Nächster Schritt, um mle zu finden, müssen wir $\frac{d\ell(\theta;x)}{d\theta} = \sum_{i=1}^n \frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

Jetzt ist Ihre Variable und x i s sind bekannte Werte. Sie müssen die Gleichung ∑ n i = 1 2 ( x i - θ ) lösen.$\theta$$x_is$$\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}=0$

dh 2 lösen ( x 1 - θ ). Es scheint sehr schwierig zu sein, diese Gleichung zu lösen. Daher benötigen wir die Newton-Raphson-Methode.$\frac{2(x_1-\theta)}{1+(x_1-\theta)^2}+\frac{2(x_2-\theta)}{1+(x_2-\theta)^2}+\cdots+\frac{2(x_n-\theta)}{1+(x_n-\theta)^2}=0$

Ich denke, viele Kalkülbücher sprechen über die Methode

$$\hat{\theta^1}=\hat{\theta^0}-\frac{\ell'(\hat{\theta^0})}{\ell''(\hat{\theta^0})} \tag 1$$

$\hat{\theta^0}$ ist Ihre erste Vermutung von$\theta$

$\ell'$ ist die erste Ableitung der Log-Likelihood-Funktion.

$\ell''$ ist die zweite Ableitung der Log-Likelihood-Funktion.

Von können Sie dann setzen Sie auf dann erhalten Sie und setzen es auf um ... setzen Sie diese Iterationen fort, bis sich keine großen Änderungen zwischen und ^ θ 1 ^ θ 1 (1) ^ θ 2 (1) ^ θ 3 ^ θ n ^ θ n - $\hat{\theta^0}$$\hat{\theta^1}$$\hat{\theta^1}$$(1)$$\hat{\theta^2}$$(1)$$\hat{\theta^3}$$\hat{\theta^n}$$\hat{\theta^{n-1}}$

Das Folgende ist eine R-Funktion, die ich geschrieben habe, um mle für die Cauchy-Verteilung zu erhalten.

mlecauchy=function(x,toler=.001){      #x is a vector here
startvalue=median(x)
n=length(x);
thetahatcurr=startvalue;
# Compute first deriviative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
# Continue Newton’s method until the first derivative
# of the likelihood is within toler of 0.001
while(abs(firstderivll)>toler){
# Compute second derivative of log likelihood
 secondderivll=2*sum(((x-thetahatcurr)^2-1)/(1+(x-thetahatcurr)^2)^2);
# Newton’s method update of estimate of theta
thetahatnew=thetahatcurr-firstderivll/secondderivll;
thetahatcurr=thetahatnew;
# Compute first derivative of log likelihood
firstderivll=2*sum((x-thetahatcurr)/(1+(x-thetahatcurr)^2))
}
list(thetahat=thetahatcurr);
}

Angenommen, Ihre Daten sind$x_1=1.94,x_2=0.59,x_3=-5.98,x_4=-0.08,x_5-0.77$

x<-c(-1.94,0.59,-5.98,-0.08,-0.77)
mlecauchy(x,0.0001)

Ergebnis:

#$thetahat
#[1] -0.5343968

Wir können auch die R-In-Funktion verwenden, um mle zu erhalten.

optimize(function(theta) -sum(dcauchy(x, location=theta, log=TRUE)),  c(-100,100)) 

#we use negative sign here

Ergebnisse:

#$minimum
#[1] -0.5343902

Das Ergebnis ist fast das gleiche wie bei hausgemachten Codes.

---

Ok, wie Sie es wünschen, lassen Sie uns dies von Hand tun.

Zuerst erhalten wir eine erste die der Median der Daten$-5.98, -1.94, -0.77, -0.08, 0.59$

Der Median beträgt$-0.77$

Als nächstes wissen wir bereits, dass$l'(\theta)=\frac{dl(\theta;x)}{d\theta}=\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2}$

und

$$l''(\theta)=\frac{dl^2(\theta;x)}{d(\theta}=\frac{d(\sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2})}{d\theta}=2\sum_{i=1}^n\frac{(x_i-\theta)^2-1}{[1+(x_i-\theta)^2]^2}$$

Jetzt stecken wir den dh den Median zu und$\hat{\theta^0}$$l'(\theta)$$l''(\theta)$

dh durch ersetzen, dh Median dh$\theta$$\hat{\theta^0}$$-0.77$

$$\begin{align} \ell'(\theta) = {} & \sum_{i=1}^n\frac{2(x_i-\theta)}{1+(x_i-\theta)^2} \\[10pt] = {} &\frac{2[-5.98-(-0.77)]}{1+[(-5.98-(-0.77)^2]} + \frac{2[-1.94-(-0.77)]}{1+[(-1.94-(-0.77)^2]} + \frac{2[-0.77-(-0.77)]}{1+[(-0.77-(-0.77)^2]} \\[6pt] & {} +\frac{2[-0.08-(-0.77)]}{1+[(-0.08-(-0.77)^2]} +\frac{2[0.59-(-0.77)]}{1+[(0.59-(-0.77)^2]}\\[10pt] = {} & \text{??} \end{align}$$

Als nächstes in und , um dann kannst dux 5 - 0,77 ℓ " ( θ ) ^ θ $x_1$$x_5$$-0.77$$\ell''(\theta)$$\hat{\theta^1}$

Ok, ich muss hier aufhören, es ist zu mühsam, diese Werte von Hand zu berechnen.