Können Sie mir explizit die erste Iteration von Newton-Raphson und Fisher Scoring zeigen?

Ich versuche, den Unterschied zwischen der Newton-RaphsonTechnik und der Fisher scoringTechnik zu verstehen, indem ich die erste Iteration für jede Methode für eine BernoulliStichprobe berechne . (Ich weiß, dass ich in diesem Fall explizit und sofort berechnen kann, aber ich möchte es iterativ tun, nur um zu verstehen und zu sehen, wie jede Methode konvergiert). $\pi_{mle}$

Angenommen, ich ziehe eine Münze Mal, der reale Parameter ist mir unbekannt und ich habe 4 Köpfe, also . $n=10$ $\pi_t=0.3$ $\bar{X}=0.4$

Die Score-Funktion lautet:

u (π) = \frac{n \bar{X}}{π} - \frac{n (1 - \bar{X})}{1 - π}

$u(\pi) = \frac{n\bar{X}}{\pi} - \frac{n(1-\bar{X})}{1-\pi}$

Die beobachteten Fischerinformationen sind:

J (π) = - \frac{n \bar{X}}{π^{2}} - \frac{n (1 - \bar{X})}{(1 - π)^{2}}

$J(\pi) = -\frac{n\bar{X}}{\pi^2} - \frac{n(1-\bar{X})}{(1-\pi)^2}$

und die erwarteten Fischerinformationen sind:

I (π) = \frac{n π_{t}}{π^{2}} + \frac{n (1 - π_{t})}{(1 - π)^{2}}

$I(\pi) = \frac{n\pi_t}{\pi^2} + \frac{n(1-\pi_t)}{(1-\pi)^2}$

Und beachten Sie, dass wir die erwarteten Fischerinformationen nur $\pi = \pi_t$ vereinfachen können, wenn wir sie unter , aber wir wissen nicht, wo das ist ...

Angenommen, meine anfängliche Vermutung ist $\pi_0 = 0.6$

Geht Newton-Raphsoneinfach so:

π_{1} = π_{0} - u (π_{0}) / J (π_{0})

$\pi_1 = \pi_0 - u(\pi_0)/J(\pi_0)$

Und wie geht Fisher-scoringes?

π_{1} = π_{0} + u (π_{0}) / I (π_{0})

$\pi_1 = \pi_0 + u(\pi_0)/I(\pi_0)$

Beachten Sie, dass es enthält, das wir nicht kennen! und wir können nicht einmal ersetzen mit wie wir wissen nicht , dass entweder - das ist genau das, was wir suchen ... $\pi_t$ $\pi_t$ $\pi_{mle}$

Können Sie mir bitte helfen, diese beiden Methoden so konkret wie möglich zu zeigen? Vielen Dank!

maximum-likelihood fisher-information fisher-scoring

— ihadanny
quelle

Für Newton-Raphson haben wir ja

π_{1} = π_{0} - u (π_{0}) / J (π_{0}) .

$\pi_1 = \pi_0 - u(\pi_0)/J(\pi_0).$

Wie Sie bereits erwähnt haben, gibt es für die Fisher-Bewertung einen unbekannten Parameter ( ) in der erwarteten Information . Wenn , verwenden wir die erste Ableitung der Stichprobe, um die erwartete zweite Ableitung zu approximieren wobei und ist der Indikator für den Kopf bei jeder Ziehung. Dann ist Beachten Sie, dass wir ein großes benötigen, da die Näherung auf der asymptotischen Theorie basiert. $\pi$ $I(\pi)$ $I(\pi)=-E(J(\pi))=E[u(\pi)u^{'}(\pi)]$

\hat{I} (π_{0}) = \sum_{i}^{n} u_{i} (π_{0}) u_{i}^{^{'}} (π_{0}),

$\hat I(\pi_0) = \sum_i^n u_i(\pi_0)u_i^{'}(\pi_0),$

u_{i} (π) = \frac{x_{i}}{π} - \frac{1 - x_{i}}{1 - π}

$u_i(\pi)= \frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}$

x_{i}

$x_i$

π_{1} = π_{0} + u (π_{0}) / \hat{I} (π_{0}) .

$\pi_1 = \pi_0 + u(\pi_0)/\hat I(\pi_0).$

n

$n$

Ich I_hat(pi)habe den PythonCode von @ ihadanny überarbeitet . Jetzt liefern Newton-Raphson- und Fisher-Scoring identische Ergebnisse.

import random
import numpy as np 

pi_t = random.random()
n = 1000
draws = [1 if x < pi_t else 0 for x in np.random.rand(n)]
x_bar = np.mean(draws)

def u(pi):
    return n*x_bar/pi - n*(1-x_bar)/(1-pi)
def J(pi):
    return -n*x_bar/pi**2 - n*(1-x_bar)/((1-pi)**2)
def I_hat(pi):
    x = 0
    for i in range(0, n): 
        x = x + (draws[i]/pi - (1-draws[i])/(1-pi))**2
    return x
def Newton(pi):
    return pi - u(pi)/J(pi)
def Fisher(pi):
    return pi + u(pi)/I_hat(pi)

def dance(method_name, method):
    print("starting iterations for: " + method_name)
    pi, prev_pi, i = 0.5, None, 0
    while i == 0 or (abs(pi-pi_t) > 0.001 and abs(pi-prev_pi) > 0.001 and i < 10):
        prev_pi, pi = pi, method(pi)
        i += 1
        print(method_name, i, "delta: ", abs(pi-pi_t))

dance("Newton", Newton)
dance("Fisher", Fisher)

Log Message
starting iterations for: Newton
Newton 1 delta:  0.00899203081545
Newton 2 delta:  0.00899203081545
starting iterations for: Fisher
Fisher 1 delta:  0.00899203081545
Fisher 2 delta:  0.00899203081545

Aktualisieren

Dies ist ein Sonderfall, bei dem Newton-Raphson- und Fisher-Scoring identisch sind, da was nur Standardalgebra erfordert.

\hat{I} (π) = \sum_{i}^{n} {(\frac{x_{i}}{π} - \frac{1 - x_{i}}{1 - π})}^{2} = \frac{\sum_{i}^{n} x_{i}}{π^{2}} + \frac{(n - \sum_{i}^{n} x_{i})}{(1 - π)^{2}} = - J (π),

$\hat I(\pi)=\sum_i^n \left(\frac{x_i}{\pi} - \frac{1-x_i}{1-\pi}\right)^2= \frac{\sum_i^n x_i}{\pi^2} + \frac{(n-\sum_i^n x_i)}{(1-\pi)^2} = -J(\pi),$

— Randel
quelle

hmm .. vielen dank dafür - macht Sinn. Ich habe jedoch Ihre genauen Anweisungen implementiert: pastebin.com/m192UYs9 - Newton konvergiert nach 1-2 Iterationen, Fisher kommt nach 10 Iterationen nicht einmal näher. Soll es nicht umgekehrt sein? Ich dachte, dass Fisher eine Verbesserung gegenüber Newton ist ...

— ihadanny

Mein Fehler. Ich habe die Antwort überarbeitet. Beachten Sie, dass die vorherige Antwort zu .

π_{1} = π_{0} + 1 / u (π_{0})

$\pi_1 = \pi_0 + 1/u(\pi_0)$

— Randel

Oh toll! eine letzte Frage, bevor ich akzeptiere - ist es nicht seltsam, dass jetzt beide Methoden jedes Mal, wenn ich den Code ausführe , genau die gleichen Ergebnisse liefern? wieder - Fisher sollte eine Verbesserung sein - es sieht so aus, als ob die Verwendung Ihrer (korrekten) Näherung jetzt keinen Vorteil mehr für die Verwendung von Fisher gegenüber Newton bietet und beide Methoden mathematisch äquivalent sind :(

— ihadanny

(und keine Sorge - ich werde den Kopfgeldpreis annehmen und vergeben, bevor er abläuft. Ich hatte nur gehofft, dass diese Frage mir hilft, den grundlegenden Unterschied zwischen den Methoden zu verstehen, und derzeit hat sie mich nicht dorthin gebracht - es sieht für mich wie

— Mathegymnastik aus

Ich habe die Antwort mit dem Beweis aktualisiert, warum die beiden Methoden in diesem speziellen Fall identisch sind. Nach meinem Verständnis erfordert das Fisher-Scoring keine zweiten Ableitungen, aber große . Eine gute Referenz: Demidenko, gemischte Modelle: Theorie und Anwendungen mit R .

n

$n$

— Randel