Die Fisher-Informationen werden auf zwei äquivalente Arten definiert: als Varianz der Steigung von und als Negativ der erwarteten Krümmung von . Da ersteres immer positiv ist, würde dies bedeuten, dass die Krümmung der Log-Liklihood-Funktion überall negativ ist. Das scheint plausibel zu mir, da jede Verteilung , dass ich gesehen habe , eine Log-Likelihood - Funktion mit negativer Krümmung hat, aber ich sehe nicht , warum dies ist der Fall sein.
Antworten:
Ihre Schlussfolgerung folgt nicht: Wenn der erwartete Wert der Krümmung der Log-Wahrscheinlichkeit negativ ist, ist er nicht unbedingt überall negativ. Es muss nur im Durchschnitt eher negativ als positiv sein. Stellen Sie sich eine bimodale Verteilung vor: Es gibt tatsächlich einen Bereich zwischen den Modi mit positiv gekrümmter Log-Wahrscheinlichkeit, sodass Ihre Behauptung nicht wahr sein kann.
Beachten Sie den Zusammenhang mit der Maximum-Likelihood-Schätzung für die Intuition: In der Nähe des MLE können Sie erwarten, dass die Krümmung negativ ist, weil Sie ein Maximum haben (obwohl dies nicht unbedingt der Fall ist, beispielsweise wenn das Maximum beispielsweise an der Grenze auftritt). . Wenn die Krümmung in den wahrscheinlichsten Regionen negativ ist, sollte der Durchschnitt intuitiv eher negativ sein. Tatsächlich muss es unter den Regelmäßigkeitsbedingungen immer sein, dass Sie die Äquivalenz mit der Definition "Varianz der Steigung" verwenden können, wie Sie hervorheben.
Für einige Klassen von Wahrscheinlichkeitsfunktionen kann man beweisen, dass die Wahrscheinlichkeit logarithmisch konkav ist , dh dass die logarithmische Wahrscheinlichkeit zweite Ableitungen aufweist Überall, was das Leben viel einfacher macht (z. B. können Sie häufig die Existenz eindeutiger globaler Maxima nachweisen, spezielle Optimierungsmethoden verwenden ...). Zum Beispiel:
Es gibt sicherlich auch Gegenbeispiele (Wahrscheinlichkeiten, die nachweislich nicht logarithmisch konkav sind). Beispielsweise ist jede bi- oder multimodale Log-Wahrscheinlichkeit nicht log-konkav ... z