Was ist Bayesian Deep Learning?

13

Was ist Bayesian Deep Learning und in welcher Beziehung steht es zur traditionellen Bayesianischen Statistik und zum traditionellen Deep Learning?

Was sind die wichtigsten Konzepte und Mathematik? Kann ich sagen, dass es sich nur um nicht parametrische Bayes-Statistiken handelt? Was sind seine wegweisenden Arbeiten sowie seine aktuellen Hauptentwicklungen und -anwendungen?

PS: Bayesian Deep Learning bekommt viel Aufmerksamkeit, siehe NIPS-Workshop.

bayesian deep-learning

— statslearner
quelle

10

Als Yee Whye Teh von Ihrem NIPS-Workshop-Link abbrach, hielt er eine Grundsatzrede bei NIPS zum Bayesian Deep Learning (Video: https://www.youtube.com/watch?v=LVBvJsTr3rg , Folien: http: //csml.stats). ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/). Ich denke, irgendwann im Vortrag fasste Teh das Bayes'sche Tiefenlernen als Anwendung des Bayes'schen Rahmens auf Ideen aus dem Tiefenlernen (wie das Erlernen eines Seitenzahns über die Gewichte eines neuronalen Netzwerks) und das tiefe Bayes'sche Lernen als Anwendung von Ideen aus dem Tiefenlernen auf das Bayes'sches Gerüst (wie tiefe Gauß'sche Prozesse oder tiefe Exponentialfamilien). Es gibt natürlich Ideen, die die Grenze zwischen den beiden Konzepten überschreiten, wie beispielsweise variierende Autoencoder. Wenn die meisten Leute Bayesian Deep Learning sagen, meinen sie normalerweise eines der beiden, und das spiegelt sich in den akzeptierten Beiträgen des Workshops wider, den Sie verlinkt haben (zusammen mit dem Workshop im Vorjahr). Während die Ideen auf Neals Arbeit über das Bayesianische Lernen neuronaler Netze in den 90er Jahren zurückgehen (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf ), und seitdem wurde in den letzten Jahren wahrscheinlich eine der wichtigsten Arbeiten der jüngeren Zeit veröffentlicht Originalpapier mit variierendem Autoencoder ( https://arxiv.org/pdf/1312.6114.pdf ).

— Aleshing
quelle

10

Ich würde vorschlagen, dass Sie zuerst einen guten Überblick über das zugrunde liegende probabilistische Modell in einem traditionellen Bayesian Neural Network erhalten. Im Folgenden werden einige Begriffe fett gedruckt . Bitte versuchen Sie, diese Begriffe zu googeln, um detailliertere Informationen zu erhalten. Dies ist nur eine grundlegende Übersicht. Ich hoffe, es hilft.

Betrachten wir den Fall der Regression in vorwärtsgerichteten neuronalen Netzen und führen Sie eine Notation ein.

$(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$ $\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$ $\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

$i$ $\ell$ $w^{(\ell)}_{ij}$ $b^{(\ell)}_i$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$ $j=1,\dots,N_{\ell-1}$

$g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$ $i$ $\ell$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$

Häufig verwendete Aktivierungsfunktionen sind die Logistik , ReLU (auch als positiver Teil bezeichnet ) und Tanh .

$\ell=1,\dots,L$

G^{(ℓ)} : R^{N_{ℓ - 1}} \to R^{N_{ℓ}} : (z_{1}^{(ℓ - 1)}, \dots, z_{N_{ℓ - 1}}^{(ℓ - 1)}) \mapsto (z_{1}^{(ℓ)}, \dots, z_{N_{ℓ}}^{(ℓ)}),

$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$

z_{i}^{(ℓ)} = g_{i}^{(ℓ)} (\sum_{j = 1}^{N_{ℓ - 1}} w_{i j}^{(ℓ)} z_{j}^{(ℓ - 1)} + b_{i}^{(ℓ)}),

$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$

i = 1, \dots, N_{ℓ}

$i=1,\dots,N_{\ell}$

$\theta$

θ = {w_{i j}^{(ℓ)}, b_{i}^{(ℓ)} : ℓ = 1, \dots, L; i = 1 \dots, N_{ℓ}; j = 1, \dots, N_{ℓ - 1}},

$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$

G_{θ} : R^{p} \to R^{k}

$G_\theta : \mathbb{R}^p\to\mathbb{R}^k$

G_{θ} = G^{(L)} \circ G^{(L - 1)} \circ \dots \circ G^{(1)} .

$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$

In der obigen Beschreibung sind keine Wahrscheinlichkeiten enthalten. Der Zweck des ursprünglichen Geschäfts mit neuronalen Netzen ist die Funktionsanpassung .

Das "tiefe" in Deep Learning steht für das Vorhandensein vieler innerer Schichten in den betrachteten neuronalen Netzen.

$\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

\sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2},

$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$

θ

$\theta$

x^{*}

$\mathbf{x}^*$

G_{\hat{θ}} (x^{*})

$G_\hat{\theta}(\mathbf{x}^*)$

\hat{θ}

$\hat{\theta}$ wie eine Strafe für die Zielfunktion oder die Verwendung von Ausfall während des Trainings. Geoffrey Hinton (auch bekannt als Deep Learning Godfather) und Mitarbeiter haben viele dieser Dinge erfunden. Erfolgsgeschichten von Deep Learning gibt es überall.

L_{x, y} (θ, σ^{2}) \propto σ^{- n} \exp (- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2}),

$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$

π (θ, σ^{2}) \propto \exp (- \frac{1}{2 σ_{0}^{2}} \sum_{ℓ = 1}^{L} \sum_{i = 1}^{N_{ℓ}} ({(b_{i}^{(ℓ)})}^{2} + \sum_{j = 1}^{N_{ℓ - 1}} {(w_{i j}^{(ℓ)})}^{2})) \times π (σ^{2}) .

$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$

$\sigma_0^2$

Bayesian Deep Learning steht vor der schwierigen Aufgabe, Proben aus der entsprechenden posterioren Verteilung zu entnehmen. Nachdem dies erreicht ist, werden Vorhersagen auf natürliche Weise mit der posterioren Vorhersageverteilung getroffen , und die mit diesen Vorhersagen verbundenen Unsicherheiten werden vollständig quantifiziert. Das Allerheiligste an Bayesian Deep Learning ist der Aufbau einer effizienten und skalierbaren Lösung. Bei dieser Suche wurden viele Berechnungsmethoden verwendet: Metropolis-Hastings- und Gibbs-Abtastung , Hamiltonian Monte Carlo und in jüngerer Zeit Variational Inference .

In den NIPS-Konferenzvideos finden Sie einige Erfolgsgeschichten: http://bayesiandeeplearning.org/

— Zen
quelle