Fehlermetriken zur Kreuzvalidierung von Poisson-Modellen

Ich überprüfe ein Modell, das versucht, eine Zählung vorherzusagen. Wenn dies ein Problem mit der binären Klassifizierung wäre, würde ich die Out-of-Fold-AUC berechnen, und wenn dies ein Regressionsproblem wäre, würde ich den Out-of-Fold-RMSE oder MAE berechnen.

Welche Fehlermetriken kann ich für ein Poisson-Modell verwenden, um die "Genauigkeit" der Vorhersagen außerhalb der Stichprobe zu bewerten? Gibt es eine Poisson-Erweiterung von AUC, die angibt, wie gut die Vorhersagen die tatsächlichen Werte ordnen?

Es scheint, dass bei vielen Kaggle-Wettbewerben um die Anzahl der Stimmen (z. B. Anzahl der nützlichen Stimmen, die eine Ja-Bewertung erhalten wird, oder Anzahl der Tage, die ein Patient im Krankenhaus verbringen wird) der mittlere Log-Quadrat-Fehler (Root Mean Log Squared Error, RMLSE) verwendet wird.

/ Edit: Eine Sache, die ich getan habe, ist die Berechnung von Dezilen der vorhergesagten Werte und dann die Betrachtung der tatsächlichen Zählungen, gruppiert nach Dezilen. Wenn Dezil 1 niedrig ist, Dezil 10 hoch ist und die Dezile dazwischen stark zunehmen, habe ich das Modell als "gut" bezeichnet, aber ich habe Probleme, diesen Prozess zu quantifizieren, und ich bin davon überzeugt, dass es einen besseren gibt Ansatz.

/ Edit 2: Ich suche nach einer Formel, die vorhergesagte und tatsächliche Werte annimmt und eine "Fehler" - oder "Genauigkeit" -Metrik zurückgibt. Mein Plan ist es, diese Funktion anhand der Out-of-Fold-Daten während der Kreuzvalidierung zu berechnen und dann eine Vielzahl von Modellen (z. B. eine Poisson-Regression, eine zufällige Gesamtstruktur und eine GBM ) zu vergleichen.

Eine solche Funktion ist zum Beispiel RMSE = sqrt(mean((predicted-actual)^2)). Eine andere solche Funktion wäre AUC . Keine der beiden Funktionen scheint für Poisson-Daten richtig zu sein.

Für die Anzahl der Daten, die Sie verwenden können, gibt es einige korrekte und streng korrekte Bewertungsregeln. Bewertungsregeln sind die eingeführten Strafen , wobei P die Vorhersageverteilung und y der beobachtete Wert ist. Sie haben eine Reihe von wünschenswerten Eigenschaften, in erster Linie, dass eine Vorhersage, die näher an der wahren Wahrscheinlichkeit liegt, immer weniger Strafe erhält und es eine (eindeutige) beste Vorhersage gibt, und zwar dann, wenn die vorhergesagte Wahrscheinlichkeit mit der wahren Wahrscheinlichkeit übereinstimmt. Das Minimieren der Erwartung von s ( y , P ) bedeutet daher, die wahren Wahrscheinlichkeiten anzugeben. Siehe auch Wikipedia .$s(y,P)$$P$$y$$s(y,P)$

Oft nimmt man einen Durchschnitt von denen über alle vorhergesagten Werte als

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

Welche Regel Sie anwenden müssen, hängt von Ihrem Ziel ab, aber ich werde eine grobe Beschreibung geben, wann die jeweilige Regel verwendet werden kann.

$f(y)$F ( y ) ≤ k 0 , 1 , … , ≤ I μ $\Pr(Y=y)$$F(y)$$\sum_k$$0,1,\dots, \infty$$I$$\mu$$\sigma$

Streng korrekte Bewertungsregeln

• Brier-Score : (stabil für Größenungleichgewicht in kategorialen Prädiktoren)$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• Dawid-Sebastiani-Score : (gut für die allgemeine Wahl des Vorhersagemodells; stabil für Größenungleichgewichte in kategorialen Prädiktoren)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• Abweichungsbewertung : ( ist ein Normalisierungsterm, der nur von abhängt , in Poisson-Modellen wird er normalerweise als gesättigte Abweichung verwendet; gut zur Verwendung mit Schätzungen von ein ML-Framework)g y$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• Logarithmischer Score : (sehr einfach zu berechnen; stabil für Größenungleichgewichte in kategorialen Prädiktoren)$s(y,P)=-\log f(y)$
• Bewerteter Wahrscheinlichkeitsfaktor : (gut für die Gegenüberstellung verschiedener Vorhersagen von sehr hohen Zählwerten; anfällig für Größenungleichgewichte bei kategorialen Prädiktoren)$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• Kugelförmiger Score : (stabil für Größenungleichgewicht in kategorialen Prädiktoren)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

Andere Bewertungsregeln (nicht so richtig, aber oft verwendet)

• Absolute Fehlerbewertung :(nicht richtig)$s(y,P)=|y-\mu|$
• Quadratische Fehlerbewertung : (nicht genau richtig; anfällig für Ausreißer; anfällig für Größenungleichgewichte bei kategorialen Prädiktoren)$s(y,P)=(y-\mu)^2$
• Pearson normalisierte quadratische Fehlerbewertung : (nicht genau richtig; anfällig für Ausreißer; kann verwendet werden, um zu überprüfen, ob das Modell die gemittelte Bewertung überprüft ist sehr verschieden von 1; stabil für Größenungleichgewichte in kategorialen Prädiktoren)$s(y,P)=(\frac{y-\mu}{\sigma})^2$

Beispiel R-Code für die streng korrekten Regeln:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)