Warum erzeugt die logistische Regression gut kalibrierte Modelle?


13

Ich verstehe, dass einer der Gründe, warum die logistische Regression häufig zur Vorhersage der Klickraten im Web verwendet wird, darin besteht, dass gut kalibrierte Modelle erstellt werden. Gibt es dafür eine gute mathematische Erklärung?


2
logistische Regression zur Vorhersage von Wahrscheinlichkeiten -> die zu kalibrierten Vorhersagen führen, wenn sie nicht überanpassen. Während die meisten Modelle des maschinellen Lernens keine Wahrscheinlichkeiten vorhersagen, sondern eine Klasse - und es gibt eine gewisse Verzerrung der aus diesen Vorhersagen abgeleiteten
Pseudowahrscheinlichkeiten

1
Ich hätte die Frage klären sollen, aber meine Frage war eher, warum LR für die Vorhersage von Wahrscheinlichkeiten so nützlich ist.
lsankar4033

Es ist erwähnenswert, dass Sie einfach eine logistische Regression an die Ausgabe eines schlecht kalibrierten Klassifikators anpassen können, um ein kalibriertes Modell zu erhalten. Dies nennt man Platt Scaling en.wikipedia.org/wiki/Platt_scaling
generic_user

Antworten:


14

Ja.

Der vorhergesagte Wahrscheinlichkeitsvektor aus der logistischen Regression erfüllt die Matrixgleichungp

X.t(p- -y)=0

Dabei ist die Entwurfsmatrix und y der Antwortvektor. Dies kann als eine Sammlung linearer Gleichungen angesehen werden, die sich aus jeder Spalte der Entwurfsmatrix X ergeben .X.yX.

Spezialisiert auf die Intercept-Spalte (die eine Zeile in der transponierten Matrix ist) ist die zugehörige lineare Gleichung

ich(pich- -yich)=0

Die vorhergesagte Gesamtwahrscheinlichkeit des Durchschnitts ist also gleich dem Durchschnitt der Antwort.

Allgemeiner ist für eine binäre Merkmalsspalte die zugehörige lineare Gleichungxij

ixij(piyi)=ixij=1(piyi)=0

Die Summe (und damit der Durchschnitt) der vorhergesagten Wahrscheinlichkeiten entspricht also der Summe der Antworten, selbst wenn sie sich auf die Datensätze spezialisiert haben, für die xij=1


1
p1/.(1+exp(- -x))

1
Ja, p hat diese Form. Die erste Gleichung ergibt sich aus dem Setzen der Ableitung der Verlustfunktion auf Null.
Matthew Drury

1
Dies betrifft nur die Kalibrierung im Großen, was nicht das ist, was wir wollen: die Kalibrierung im Kleinen.
Frank Harrell

1
@FrankHarrell Möchtest du das näher erläutern? Ich habe diese Begriffe noch nie gehört.
Matthew Drury

3
Die Wahrscheinlichkeitsprognoseliteratur des US-Wetterdienstes 1950 hat eine lange Geschichte - hier wurde erstmals der Brier-Score verwendet. Calibration-in-the-Small bedeutet, dass bei Betrachtung der vorhergesagten Risiken von 0,01, 0,02, ..., 0,99 jedes dieser Risiken genau ist, dh für alle Zeiten, in denen das vorhergesagte Risiko 0,4 betrug, das Ergebnis etwa 0,4 von betrug die Zeit. Ich nenne "Kalibrierung im Winzling" den nächsten Schritt: Für Männer, bei denen die Vorhersage 0,4 war, war das Ergebnis 0,4 der Zeit vorhanden, dann für Frauen.
Frank Harrell

2

Ich denke, ich kann Ihnen eine leicht verständliche Erklärung wie folgt geben:


J.(θ)=- -1mich=1m[y(ich)Log(hθ(x(ich)))+(1- -y(ich))Log(1- -hθ(x(ich)))]]

my(ich)hθ(x(ich)) die vorhergesagte Wahrscheinlichkeit der i-ten Stichprobe: 11+exp[- -α- -jθjxj(ich)]]. (Beachten Sie die Voreingenommenheitα Hier)

Da das Ziel des Trainings darin besteht, die Verlustfunktion zu minimieren, lassen Sie uns ihre partielle Ableitung in Bezug auf jeden Parameter bewerten θj(Die detaillierte Ableitung finden Sie hier ):

J(θ)θj=1mi=1m[hθ(x(i))y(i)]xj(i)

And setting it to zero yeils:
i=1mhθ(x(i))xj(i)=i=1my(i)xj(i)

That means that if the model is fully trained, the predicted probabilities we get for the training set spread themselves out so that for each feature the sum of the weighted (all) values of that feature is equal to the sum of the values of that feature of the positive samples.

The above fits every feature so as the bias α. Setting x0 as 1 and α as θ0 yeilds:

i=1mhθ(x(i))x0(i)=i=1my(i)x0(i)
Then we get:
i=1mhθ(x(i))=i=1my(i)
Where hθ(x(i)) is the predicted probability of the fully trained model for the ith sample. And we can write the function in a compact way:
i=1mp(i)=i=1my(i)

Wir können offensichtlich sehen, dass die logistische Regression gut kalibriert ist.

Referenz: Log-lineare Modelle und bedingte Zufallsfelder von Charles Elkan

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.