Suche nach einem theoretischen Verständnis der Firth Logistic Regression

Ich versuche, die logistische Regression von Firth zu verstehen (Methode zum Behandeln einer perfekten / vollständigen oder quasi vollständigen Trennung in der logistischen Regression), damit ich sie anderen in vereinfachten Begriffen erklären kann. Hat jemand eine abgedrehte Erklärung, welche Änderung Firth-Schätzung an MLE vornimmt?

Ich habe nach bestem Wissen Firth (1993) gelesen und verstehe, dass die Score-Funktion korrigiert wird. Ich bin mir nicht sicher, woher die Korrektur stammt und welche Begründung sie hat und welche Rolle die Score-Funktion bei MLE spielt.

Tut mir leid, wenn dies nur ansatzweise bekannt ist. Die Literatur, die ich durchgesehen habe, scheint ein viel tieferes Verständnis von MLE zu erfordern als ich.

logistic maximum-likelihood separation

— ESmith5988
quelle

Die Korrektur von Firth entspricht der Angabe von Jeffreys Prior und der Suche nach der Art der posterioren Verteilung. Grob gesagt wird dem Datensatz die Hälfte einer Beobachtung hinzugefügt, vorausgesetzt, die wahren Werte der Regressionsparameter sind gleich Null.

$\hat \theta_n \approx \theta_0$ $\theta_0$ $\theta_n = \theta_0 + O(n^{-1/2}) = \theta_0 + v_1 n^{-1/2} + o(n^{-1/2})$ $v_1$ $\sigma_1^2$ $n(\hat\theta_n - \theta_0)^2/\sigma_1^2 \sim \chi^2_1$

$o(n^{-1/2})$ $O(n^{-1})$ $1/n$ $\frac12 \ln \det I(\theta)$ $1/n$ die durch die Stichprobeninformation in den Schatten gestellt wird.

— StasK
quelle

Entschuldigung für mein Unverständnis, aber ich folge nicht ganz. Wenn Sie sagen "Grob gesagt, wird dem Datensatz die Hälfte einer Beobachtung hinzugefügt, vorausgesetzt, die wahren Werte der Regressionsparameter sind gleich Null." Warum würden Sie annehmen, dass die wahren Werte der Regressionsparameter gleich Null sind? Wie wird dem Datensatz eine halbe Beobachtung hinzugefügt?

— ESmith5988

Aus dem Rest Ihrer Erklärung geht hervor, dass die Wahrscheinlichkeitsfunktion um einen festen Wert angepasst wird, der die positive Verzerrung kleiner Stichproben verringert. Die festgelegte Menge ist effektiv eine Funktion der Information, die mit zunehmender Stichprobengröße auf Null geht. Richtig?

— ESmith5988

Zu Ihrer ersten Bemerkung - Die erste Korrektur entspricht in etwa dem erwarteten Wert eines Beitrags zur Wahrscheinlichkeit, der durch eine Beobachtung mit einem effektiven Gewicht von 1/2 hinzugefügt worden wäre. Dies ist keineswegs die richtige Erklärung, geschweige denn die Intuition, warum Sie dies tun möchten; es gibt dir nur den Geschmack. Sie setzen die Koeffizienten auf Null, weil Sie keine bessere Vorstellung davon haben, wie die Zahlen aussehen werden (und Nullkoeffizienten entsprechen in guter Weise keinem Effekt der Regressoren, was die meiste Zeit von Bedeutung ist). Bei deinem zweiten Kommentar - richtig.

— StasK