Motivierende Sigmoid-Ausgabeeinheiten in neuronalen Netzen, beginnend mit nicht normalisierten logarithmischen Wahrscheinlichkeiten, linear in

12

Hintergrund: Ich studiere Kapitel 6 von Deep Learning von Ian Goodfellow und Yoshua Bengio und Aaron Courville. In Abschnitt 6.2.2.2 (Seiten 182 von 183, die hier eingesehen werden können ) wird die Verwendung von Sigmoid zur Ausgabe von $P(y=1|x)$ motiviert.

Um einen Teil des Materials zusammenzufassen, lassen sie

z = w^{T} h + b

$z = w^Th+b$ ein Ausgangsneuron sein, bevor eine Aktivierung angewendet wird, wobei die Ausgabe der vorherigen verborgenen Schicht ist, ein Vektor von Gewichten ist und eine skalare Vorspannung ist. Der Eingabevektor wird mit (wovon eine Funktion ist) und der Ausgabewert wird mit wobei die Sigmoidfunktion ist. Das Buch möchte eine Wahrscheinlichkeitsverteilung über mit dem Wert . Aus dem zweiten Absatz von Seite 183:

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$

Wir lassen die Abhängigkeit von für den Moment weg, um zu diskutieren, wie eine Wahrscheinlichkeitsverteilung über Verwendung des Wertes . Das Sigmoid kann motiviert werden, indem eine nicht normalisierte Wahrscheinlichkeitsverteilung konstruiert wird , die nicht 1 ergibt. Wir können dann durch eine geeignete Konstante dividieren, um eine gültige Wahrscheinlichkeitsverteilung zu erhalten. Wenn wir mit der Annahme beginnen, dass die nicht normalisierten logarithmischen Wahrscheinlichkeiten in und linear sind , können wir potenzieren, um die nicht normalisierten Wahrscheinlichkeiten zu erhalten. Wir normalisieren dann, um zu sehen, dass dies eine Bernoulli-Verteilung ergibt, die durch eine Sigmoidtransformation von z gesteuert wird: $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

Fragen: Ich bin verwirrt über zwei Dinge, insbesondere das erste:

Woher kommt die ursprüngliche Annahme? Warum ist die nicht normalisierte logarithmische Wahrscheinlichkeit in und linear ? Kann mir jemand sagen, wie die Autoren mit angefangen haben? $y$ $z$ $\log\tilde P(y) = yz$ ?
Wie folgt die letzte Zeile?

neural-networks deep-learning

— HBeel
quelle

8

Es gibt zwei mögliche Ergebnisse für . Dies ist sehr wichtig, da diese Eigenschaft die Bedeutung der Multiplikation ändert. Es gibt zwei mögliche Fälle: $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

Darüber hinaus ist zu beachten, dass die nicht normalisierte logarithmische Wahrscheinlichkeit für konstant ist. Diese Eigenschaft ergibt sich aus der Hauptannahme. Durch Anwenden einer deterministischen Funktion auf den konstanten Wert wird eine konstante Ausgabe erzeugt. Diese Eigenschaft vereinfacht die endgültige Formel, wenn wir eine Normalisierung über alle möglichen Wahrscheinlichkeiten durchführen, da wir nur die nicht normalisierte Wahrscheinlichkeit für und für immer konstant ist. Und da die Ausgabe aus dem Netzwerk mit nicht normalisierter logarithmischer Wahrscheinlichkeit erfolgt, benötigen wir nur eine Ausgabe, da eine andere als konstant angenommen wird. $y=0$ $y=1$ $y=0$

Als nächstes wenden wir eine Exponentiation auf die nicht normalisierte Logarithmuswahrscheinlichkeit an, um eine nicht normalisierte Wahrscheinlichkeit zu erhalten.

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

Als nächstes normalisieren wir einfach die Wahrscheinlichkeiten und teilen jede nicht normalisierte Wahrscheinlichkeit durch die Summe aller möglichen nicht normalisierten Wahrscheinlichkeiten.

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

Wir interessieren uns nur für , denn das bedeutet die Wahrscheinlichkeit aus der Sigmoidfunktion. Die erhaltene Funktion sieht auf den ersten Blick nicht wie Sigmoid aus, ist aber gleich und leicht zu zeigen. $P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

Die letzte Aussage kann zunächst verwirrend sein, aber es ist nur ein Weg zu zeigen, dass diese endgültige Wahrscheinlichkeitsfunktion ein Sigmoid ist. Der Wert konvertiert zu und zu (oder wir können sagen, dass dies unverändert wäre). $(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

Wie wir sehen können, ist es nur der Weg, die Beziehung zwischen und $\sigma$ $P(y)$

— itdxer
quelle

"Außerdem ist es wichtig zu beachten, dass die nicht normalisierte logarithmische Wahrscheinlichkeit für

konstant ist. Diese Eigenschaft leitet sich aus der Hauptannahme ab." Die Annahme ist, dass wir bereits entschieden haben, dass

?

y = 0

$y=0$

y = 1

$y=1$

— HBeel

Ich denke, meine Verwirrung kam von der Tatsache, dass das Sigmoid die Wahrscheinlichkeit des Modells von

angibt, unabhängig von der tatsächlichen Bezeichnung. Vielen Dank!

y = 1

$y=1$

— HBeel

Nicht mittlere dick , hier zu sein , aber wie ist

linear in

und

. Ich würde etwas von der Form

erwarten . Mir ist klar, dass das

am Produkt

eine Summe ergeben würde, die mich näher an die Linearität bringen würde, aber das scheint nicht direkt von dem zu sein, was der Autor angegeben hat.

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

— Zebullon

Ich verstehe, das ist eigentlich eine interessante Frage. Ich habe diese Aussage nicht beachtet, als ich die Frage zum ersten Mal las. Jetzt sieht es auch für mich seltsam aus. Ein Problem ist, dass y eine binäre Variable ist und ich nicht sicher bin, wie ich die Eigenschaften der linearen Funktion unter diesen Umständen überprüfen soll. Ich denke, es wird Sinn machen, wenn Sie separate Fragen stellen. Vielleicht kann Ihnen jemand erklären, warum es so geschrieben wurde.

— itdxer

2

Ich finde es auch schwierig, diesem Fragment des Buches zu folgen, und die obige Antwort von itdxer verdient einige Zeit, um sie auch für jemanden zu verstehen, der mit Wahrscheinlichkeiten und mathematischem Denken nicht richtig fließend ist. Ich habe es jedoch geschafft, indem ich die Antwort rückwärts gelesen habe, also beginne mit dem Sigmoid von z

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

und versuchen, zurück zu folgen.

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

Dann macht es Sinn, warum sie die Erklärung mit yz begonnen haben - es ist beabsichtigt, genau wie das Finale

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

konstruktionsbedingt erlaubt es, -1 für y = 0 und 1 für y = 1 zu erhalten, was die einzig möglichen Werte von y unter den Bernoulli sind.

— Jakub Jurek
quelle

0

Hier ist eine formellere Formulierung, die diejenigen mit einem messungstheoretischen Hintergrund anspricht.

Let $Y$ be a Bernoulli r.v. and let $P_Y$ denote the pushforward measure, i.e for $y\in \{0,1\}$ , $P_Y(y)=P(Y=y)$ and let $\tilde P_Y$ denote its unnormalized counterpart.

We have the following chain of implications:

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

The last equality is a smart way of mapping $\{0,1\}$ to $\{-1,1\}$

— Gabriel Romon
quelle