Was ist "Multinomial Deviance" im glmnet-Paket?

Ich passe eine multinomiale logistische Regression mit dem glmnet-Paket in R an:

library(glmnet)
data(MultinomialExample)
cvfit=cv.glmnet(x, y, family="multinomial", type.multinomial = "grouped")
plot(cvfit)

Was ist "Multinomial Deviance" und in welcher Beziehung steht es zu " Multinomial Logloss "?

r multinomial glmnet

— Zach
quelle

Abweichung ist eine spezifische Transformation eines Wahrscheinlichkeitsverhältnisses. Insbesondere betrachten wir die modellbasierte Wahrscheinlichkeit, nachdem eine Anpassung durchgeführt wurde, und vergleichen diese mit der Wahrscheinlichkeit des sogenannten gesättigten Modells. Letzteres ist ein Modell, das so viele Parameter wie Datenpunkte hat und eine perfekte Anpassung erzielt. Wenn wir also das Wahrscheinlichkeitsverhältnis betrachten, messen wir in gewissem Sinne, wie weit unser angepasstes Modell von einem "perfekten" Modell entfernt ist.

Im Fall der multinomialen Regression haben wir Daten der Form wobei ein Vektor ist, der angibt, zu welcher Klassenbeobachtung gehört (genau ein Eintrag) enthält eine Eins und der Rest ist Null). Wenn wir nun ein Modell anpassen, das einen Wahrscheinlichkeitsvektor schätzt dann kann die modellbasierte Wahrscheinlichkeit geschrieben werden $(x_1, y_1), (x_2, y_2), \ldots , (x_n, y_n)$ $y_i$ $k$ $i$ $\hat{p}(x) = (\hat{p}_1(x), \hat{p}_2(x), \ldots, \hat{p}_k(x))$

\prod_{i = 1}^{n} \prod_{i = j}^{k} {\hat{p}}_{j} (x_{i})^{y_{i j}} .

$\prod_{i=1}^{n} \prod_{i=j}^{k} \hat{p}_j(x_i)^{y_{ij}} .$

Das gesättigte Modell weist andererseits jedem aufgetretenen Ereignis die Wahrscheinlichkeit eins zu, was bedeutet, dass der Vektor der Wahrscheinlichkeiten für jedes genau gleich und wir das Verhältnis dieser Wahrscheinlichkeiten als schreiben können $\hat{p}_i$ $y_i$ $i$

\prod_{i = 1}^{n} \prod_{j = 1}^{k} {(\frac{{\hat{p}}_{j} (x_{i})}{y_{i j}})}^{y_{i j}} .

$\prod_{i=1}^{n} \prod_{j=1}^{k} \left ( \frac{\hat{p}_j(x_i)}{y_{ij}} \right )^{y_{ij}} .$

Um die Abweichung zu finden, nehmen wir das minus zweifache Protokoll dieser Größe (diese Transformation ist in der mathematischen Statistik aufgrund eines Zusammenhangs mit der Verteilung von Bedeutung), um zu erhalten $\chi^2$

- 2 \sum_{i = 1}^{n} \sum_{j = 1}^{k} y_{i j} \log (\frac{{\hat{p}}_{j} (x_{i})}{y_{i j}}) .

$-2 \sum_{i=1}^{n} \sum_{j=1}^{k} y_{ij} \log \left ( \frac{\hat{p}_j(x_i)}{y_{ij}} \right ) .$

(Es ist auch erwähnenswert, dass wir in dieser Situation das Null-fache des Protokolls von irgendetwas als Null behandeln. Der Grund dafür ist, dass es mit der Idee übereinstimmt, dass die gesättigte Wahrscheinlichkeit gleich Eins sein sollte.)

Der einzige Teil davon, der eigenartig ist, glmnetist die Art und Weise, wie die Funktion geschätzt wird. Es wird eine eingeschränkte Maximierung der Wahrscheinlichkeit durchgeführt und die Abweichung als Obergrenze für berechnet wird variiert, wobei das Modell, das die geringste Abweichung bei den Testdaten erzielt, als "bestes" Modell angesehen wird. $\hat{p}(x)$ $\| \beta \|_1$

In Bezug auf die Frage zum Protokollverlust können wir die obige multinomiale Abweichung vereinfachen, indem wir nur die Nicht-Null-Terme beibehalten und sie als schreiben , wobei der Index der beobachteten Klasse für die Beobachtung , der nur der empirische logarithmische Verlust multipliziert mit einer Konstanten ist. Das Minimieren der Abweichung entspricht also dem Minimieren des Protokollverlusts. $-2 \sum_{i=1}^{n} \log [\hat{p}_{j_i} (x_i)]$ $j_i$ $i$

— dsaxton
quelle

Vielen Dank für die hervorragende, detaillierte Antwort. Eine letzte Frage: Wie hängt diese Abweichungsfunktion (die meiner Meinung nach von glmnet als "prädiktive" Abweichung von Daten außerhalb der Stichprobe berechnet wird) mit dem Protokollverlust "mehrerer Klassen" zusammen?

— Zach

@ Zach Sicher, ich habe ein bisschen über Protokollverlust hinzugefügt.

— Dsaxton

Vielen Dank für diese hervorragende Antwort! Wenn Sie sagen "Was ist nur der empirische Log-Verlust multipliziert mit einer Konstante", was ist die Konstante? Ist es immer das gleiche oder variiert es Problem für Problem? Geistig versuche ich, einen einfachen Weg zu finden, um die Skala "Multinomial Deviance" in "Multiclass Logloss" umzuwandeln, über die ich ein viel besseres intuitives Verständnis habe.

— Zach

@Zach Der empirische Protokollverlust ist (es ist eine Schätzung der Kreuzentropie zwischen dem wahren und dem geschätzten Modell: en.wikipedia.org/wiki/Cross_entropy ), was nur die Abweichungszeiten . Dies sollte für alle Klassifizierungsprobleme gleich sein, bei denen Sie Wahrscheinlichkeiten geschätzt haben.

- n^{- 1} \sum_{i = 1}^{n} \log [{\hat{p}}_{j_{i}} (x_{i})]

$- n^{-1} \sum_{i=1}^{n} \log [ \hat{p}_{j_i}(x_i) ]$

1 / 2 n

$1 / 2n$

— Dsaxton

Ich danke dir sehr. Ich habe jetzt ein viel besseres Verständnis für dieses Thema.

— Zach