Warum die maximale Log-Wahrscheinlichkeit anstelle der Wahrscheinlichkeit optimieren?

In den meisten maschinellen Lernaufgaben, in denen Sie eine Wahrscheinlichkeit formulieren können, die maximiert werden sollte, würden wir tatsächlich die log-Wahrscheinlichkeit anstelle der Wahrscheinlichkeit für einige Parameter optimieren . ZB beim Maximum-Likelihood-Training ist es normalerweise die Log-Likelihood. Wenn Sie dies mit einer Gradientenmethode tun, beinhaltet dies einen Faktor:$p$$\log p$$\theta$

$$\frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot \frac{\partial p}{\partial \theta}$$

Sehen Sie hier oder hier für einige Beispiele.

Natürlich ist die Optimierung äquivalent, aber der Gradient wird unterschiedlich sein, so dass sich jede gradientenbasierte Methode anders verhält (insbesondere stochastische Gradientenmethoden). Gibt es eine Rechtfertigung dafür, dass der Gradient besser funktioniert als der Gradient?$\log p$$p$

Gradientenmethoden optimieren Allgemeinen besser als da der Gradient von im Allgemeinen besser skaliert ist . Das heißt, es hat eine Größe, die die Geometrie der Zielfunktion konsistent und hilfreich widerspiegelt, sodass es einfacher ist, eine geeignete Schrittgröße auszuwählen und in weniger Schritten das Optimum zu erreichen.$\log p(x)$$p(x)$$\log p(x)$

Um zu sehen, was ich meine, vergleichen Sie den Gradientenoptimierungsprozess für und . An jedem Punkt , der Gradient von istWenn wir das mit multiplizieren , erhalten wir die genaue Schrittgröße, die erforderlich ist, um das globale Optimum am Ursprung zu erreichen, unabhängig davon, was$p(x) = \exp(-x^2)$$f(x) = \log p(x) = -x^2$$x$$f(x)$

$$f'(x) = -2x.$$ $1/2$$x$ist. Dies bedeutet, dass wir nicht zu hart arbeiten müssen, um eine gute Schrittgröße (oder "Lernrate" im ML-Jargon) zu erhalten. Egal wo unser Ausgangspunkt ist, wir setzen unseren Schritt auf die Hälfte des Gefälles und sind in einem Schritt am Ursprung. Und wenn wir den genauen Faktor nicht kennen, können wir einfach eine Schrittgröße um 1 auswählen, ein bisschen nach Zeilen suchen und sehr schnell eine gute Schrittgröße finden, die überall gut funktioniert ist. Diese Eigenschaft ist robust gegenüber der Translation und Skalierung von . Während die Skalierung von führt, dass die optimale Stufenskalierung von 1/2 abweicht, ist die Stufenskalierung unabhängig von mindestens gleich , sodass wir nur einen Parameter finden müssen, um eine effiziente gradientenbasierte Optimierung zu erhalten planen.$x$$f(x)$$f(x)$$x$

Im Gegensatz dazu hat der Gradient von sehr schlechte globale Eigenschaften zur Optimierung. Wir habenDies multipliziert den perfekt schönen, gut erzogenen Gradienten mit einem Faktor der mit zunehmendem exponentiell abfällt (schneller als) . Bei haben wir bereits , so dass ein Schritt entlang des Gradientenvektors etwa mal zu klein ist. Um eine vernünftige Schrittgröße für das Optimum zu erhalten, müssten wir den Gradienten um den Kehrwert skalieren, eine enorme Konstante$p(x)$

$$p'(x) = f'(x) p(x)= -2x \exp(-x^2).$$ $-2x$$\exp(-x^2)$$x$$x = 5$$\exp(-x^2) = 1.4 \cdot 10^{-11}$$10^{-11}$$\sim 10^{11}$. Solch ein schlecht skalierter Gradient ist für Optimierungszwecke schlimmer als nutzlos - es ist besser, nur einen Einheitsschritt in Aufwärtsrichtung zu versuchen, als unseren Schritt durch Skalieren gegen ! (In vielen Variablen wird ein bisschen nützlicher, da wir zumindest Richtungsinformationen aus dem Gradienten erhalten, aber das Skalierungsproblem bleibt bestehen.)$p'(x)$$p'(x)$

Im Allgemeinen gibt es keine Garantie dafür, dass so gute Gradientenskalierungseigenschaften aufweist wie dieses Spielzeugbeispiel, insbesondere wenn wir mehr als eine Variable haben. wird jedoch für so ziemlich jedes nicht triviale Problem viel , viel besser sein als . Dies liegt daran, dass die Wahrscheinlichkeit ein großes Produkt mit einer Reihe von Begriffen ist und das Protokoll dieses Produkt in eine Summe umwandelt, wie in mehreren anderen Antworten angegeben. Vorgesehen sind , die Bedingungen der Wahrscheinlichkeit artig von einer Optimierung Sicht ist ihre Log im Allgemeinen gut erzogene, und die Summe von gut erzogene Funktionen ist brav. Mit brav meine ich$\log p(x)$$\log p(x)$$p(x)$$f''(x)$ändert sich weder zu schnell noch zu stark, was zu einer nahezu quadratischen Funktion führt, die sich leicht mit Gradientenmethoden optimieren lässt. Die Summe eines Derivats ist die Ableitung der Summe, unabhängig von der Reihenfolge des Derivats, was dazu beiträgt, dass dieser große Haufen von Summenbegriffen eine sehr vernünftige zweite Ableitung hat!

Unterlauf

Der Computer verwendet eine begrenzte Fließkommadarstellung von Brüchen, wobei das Multiplizieren so vieler Wahrscheinlichkeiten garantiert sehr nahe bei Null liegt.

Mit haben wir dieses Problem nicht.$log$

1. Der Logarithmus der Wahrscheinlichkeit mehrerer gemeinsamer Wahrscheinlichkeiten vereinfacht sich zu der Summe der Logarithmen der einzelnen Wahrscheinlichkeiten (und die Summenregel ist einfacher als die Produktregel zur Differenzierung).

   $\log \left(\prod_i P(x_i)\right) = \sum_i \log \left( P(x_i)\right)$

2. Der Logarithmus eines Mitglieds der Familie der exponentiellen Wahrscheinlichkeitsverteilungen (einschließlich der allgegenwärtigen Normalen) ist in den Parametern polynomisch (dh die Maximalwahrscheinlichkeit wird bei Normalverteilungen auf die kleinsten Quadrate reduziert ).

   $\log\left(\exp\left(-\frac{1}{2}x^2\right)\right) = -\frac{1}{2}x^2$

3. Die letztere Form ist sowohl numerisch stabiler als auch symbolisch leichter zu unterscheiden als die erstere.

4. Last but not least ist der Logarithmus eine monotone Transformation, bei der die Orte der Extrema erhalten bleiben (insbesondere sind die geschätzten Parameter der maximalen Wahrscheinlichkeit für die ursprüngliche und die logarithmisch transformierte Formulierung identisch).

Es ist viel einfacher, eine Ableitung der Summe der Logarithmen zu nehmen, als eine Ableitung des Produkts, das beispielsweise 100 Multiplikatoren enthält.

In der Regel besteht das grundlegendste und einfachste Optimierungsproblem darin, eine quadratische Funktion zu optimieren. Sie können das Optimum einer solchen Funktion leicht finden, egal wo Sie anfangen. Wie sich dies manifestiert, hängt von der jeweiligen Methode ab. Je näher Ihre Funktion an einem Quadrat liegt, desto besser.

Wie von TemplateRex festgestellt, ergeben sich bei einer Vielzahl von Problemen die Wahrscheinlichkeiten, mit denen die Wahrscheinlichkeitsfunktion berechnet wird, aus der Normalverteilung oder werden durch diese angenähert. Wenn Sie also am Protokoll arbeiten, erhalten Sie eine schöne quadratische Funktion. Wenn Sie dagegen an den Wahrscheinlichkeiten arbeiten, haben Sie eine Funktion, die

1. Ist nicht konvex (der Fluch der Optimierungsalgorithmen überall)
2. Überquert mehrere Skalen schnell und hat daher einen sehr engen Bereich, in dem die Funktionswerte angeben, wohin Ihre Suche geleitet werden soll.

Welche Funktion würden Sie lieber optimieren, dies oder das ?

(Das war eigentlich ganz einfach; in der Praxis kann Ihre Suche so weit vom Optimum entfernt beginnen, dass die Funktionswerte und Verläufe, auch wenn Sie sie numerisch berechnen könnten, für die Zwecke der Optimierung nicht von 0 zu unterscheiden und nutzlos sind Algorithmus. Aber die Umwandlung in eine quadratische Funktion macht dies zu einem Kinderspiel.)

Beachten Sie, dass dies mit den bereits erwähnten numerischen Stabilitätsproblemen völlig im Einklang steht. Der Grund, warum die Protokollskala erforderlich ist, um mit dieser Funktion zu arbeiten, ist genau derselbe Grund, warum sich die Protokollwahrscheinlichkeit (für Optimierungszwecke und andere Zwecke) viel besser verhält als das Original.

Sie könnten dies auch auf eine andere Weise angehen. Auch wenn es keinen Vorteil für das Protokoll gab (was es gibt) - wir werden die Protokollskala trotzdem für Ableitungen und Berechnungen verwenden. Aus welchem ​​Grund sollte die exp-Transformation nur zur Berechnung des Gradienten angewendet werden? Wir können genauso gut mit dem Protokoll konsistent bleiben.

Mit erhöhen wir den Dynamikumfang des Optimierungsalgorithmus. Die in -Anwendungen sind normalerweise ein Produkt von Funktionen. Zum Beispiel ist es bei der Maximum-Likelihood-Schätzung das Produkt der Form , wobei Die Dichtefunktion ist, die sein kann größer oder kleiner als 1, übrigens$\ln p$$p$$L(x|\theta)=\Pi_{i=1}^n f(x_i|\theta)$$f(.)$

Wenn also sehr groß ist, dh eine große Stichprobe, ist Ihre Wahrscheinlichkeitsfunktion Normalerweise weit von 1 entfernt: Sie ist entweder sehr klein oder sehr groß, weil es sich um eine Potenzfunktion .$n$$L(.)$$L\sim f(.)^n$

Indem wir ein Protokoll erstellen, verbessern wir einfach den Dynamikbereich jedes Optimierungsalgorithmus, sodass dieser auf die gleiche Weise mit extrem großen oder kleinen Werten arbeiten kann.

Einige nette Antworten wurden bereits gegeben. Aber ich bin kürzlich auf einen neuen gestoßen:

Häufig erhalten Sie einen riesigen Trainingsdatensatz , und Sie definieren ein Wahrscheinlichkeitsmodell , und Sie möchten die Wahrscheinlichkeit für maximieren . Es wird angenommen, dass sie unabhängig sind, dh Sie haben Nun, man oft eine Art von stochastischen tun (Mini-Batch) Gradienten-based Training, das heißt in jedem Schritt für Ihren Verlust , optimieren Sie für , dh $\mathcal{X}$$p(x|\theta)$$x \in \mathcal{X}$

$$p(\mathcal{X}|\theta) = \prod_{x\in\mathcal{X}} p(x|\theta) .$$ $L$$L(\mathcal{X'}|\theta)$$\mathcal{X'} \subset \mathcal{X}$ $$\theta' := \theta - \frac{\partial \sum_{x\in\mathcal{X'}} L(x|\theta)}{\partial \theta} .$$ Nun werden diese stochastischen Schritte additiv akkumuliert. Aus diesem Grund möchten Sie die Eigenschaft, dass im Allgemeinen Dies ist der Fall für $$L(\mathcal{X}|\theta) = \sum_{x\in\mathcal{X}} L(x|\theta) .$$ $$L(x|\theta) = -\log p(x|\theta) .$$