Gradient für die logistische Verlustfunktion

Ich würde eine Frage zu diesem Thema stellen .

Ich habe hier ein Beispiel für das Schreiben einer benutzerdefinierten Verlustfunktion für xgboost gefunden :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

Logistische Verlustfunktion ist

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

Dabei ist Log-Odds und Labels (0 oder 1). $P$ $y$

Meine Frage ist: Wie können wir einen Gradienten (erste Ableitung) erhalten, der einfach der Differenz zwischen wahren Werten und vorhergesagten Wahrscheinlichkeiten entspricht (berechnet aus logarithmischen Quoten als preds <- 1/(1 + exp(-preds)))?

— Ogurtsov
quelle

Sie sollten den quadratischen Fehlerverlust verwenden, um dies zu erreichen. Ihre Notation ist verwirrend und sollte im Beitrag definiert werden. Wenn

das vorhergesagte Risiko ist, dann ist

Verlust das, was Sie wollen. Ich bin verwirrt , weil wir nie verwenden

den Log-Odds bedeuten.

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— AdamO

wurde auf das Kapital

. Es handelt sich um Log-Odds, die in der Frage deutlich gekennzeichnet sind. Ich weißdassGradienten fürVerlustfunktion

ist

, aber es ist squred Verlust, nicht Logistik.

p

$p$

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— Ogurtsov

Wenn Sie den "Gradienten" sagen, welchen Gradienten meinen Sie? Der Gradient des Verlustes? Es ist eine einfache mathematische Beziehung, dass, wenn die Ableitung eines Ausdrucks eine lineare Differenz ist, der Ausdruck eine quadratische Differenz oder ein quadratischer Fehlerverlust ist.

— AdamO

Ja, es geht nur um den Gradienten des Verlustes. Es ist einfach, wenn die Verlustfunktion ein quadratischer Fehler ist. In diesem Fall handelt es sich bei der Verlustfunktion um einen logistischen Verlust ( en.wikipedia.org/wiki/LogitBoost ), und ich kann keine Entsprechung zwischen dem Gradienten dieser Funktion und dem angegebenen Codebeispiel finden.

— Ogurtsov

Meine Antwort auf meine Frage: Ja, es kann gezeigt werden, dass der Gradient für den logistischen Verlust gleich der Differenz zwischen wahren Werten und vorhergesagten Wahrscheinlichkeiten ist. Kurze Erklärung wurde gefunden hier .

Erstens ist der logistische Verlust nur eine negative Log-Wahrscheinlichkeit, sodass wir mit dem Ausdruck für die Log-Wahrscheinlichkeit beginnen können ( S. 74 - dieser Ausdruck ist die Log-Wahrscheinlichkeit selbst, nicht die negative Log-Wahrscheinlichkeit):

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

ist eine logistische Funktion: $p_{i}$ , wobei-Werte vor logistischen Transformation vorhergesagt wird (dh Log-Odds): $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

Erste Ableitung mit Wolfram Alpha:

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$ :

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

After changing sign we have expression for gradient of logistic loss function:

p_{i} - y_{i}

$p_{i}-y_{i}$

— Ogurtsov
quelle

What you're calling

\hat{y}

$\hat{y}$ here is not a prediction of

y

$y$ , but a linear combination of predictors. In generalized linear modeling we use the notation

ν

$\nu$ and call this term the "linear predictor". Your derivative of the loglikelihood (score) is wrong, there should be a squared term in the denominator, since bernoullis form an exponential likelihood. The score should be of the form

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$

— AdamO