Was sind die Vorteile der Verwendung eines Bayes'schen neuronalen Netzwerks?

12

Kürzlich las ich einige Artikel über das Bayesianische Neuronale Netz (BNN) [Neal, 1992] , [Neal, 2012] , in denen eine Wahrscheinlichkeitsrelation zwischen der Eingabe und der Ausgabe in einem Neuronalen Netz angegeben ist. Das Trainieren eines solchen neuronalen Netzwerks erfolgt durch MCMC, was sich von dem herkömmlichen Backpropagation-Algorithmus unterscheidet.

Meine Frage ist: Was ist der Vorteil eines solchen neuronalen Netzwerks? Könnten Sie im Einzelnen einige Beispiele nennen, die besser zu BNN als zu NN passen?

bayesian neural-networks bayesian-network

— fishiwhj
quelle

9

Bayesianische neuronale Netze sind nützlich, um Probleme in Bereichen zu lösen, in denen Daten knapp sind, um eine Überanpassung zu verhindern. In solchen Situationen schlagen sie oft alle anderen Methoden. Beispielanwendungen sind die Molekularbiologie ( zum Beispiel dieses Papier ) und die medizinische Diagnose (Bereiche, in denen Daten häufig aus kostspieliger und schwieriger Ablaufarbeit stammen). Tatsächlich sind Bayes'sche Netze universell einsetzbar und können für eine Vielzahl von Aufgaben bessere Ergebnisse erzielen, sind jedoch für große Probleme äußerst schwierig zu skalieren.

— Denis Tarasov
quelle

2

Können Sie erläutern, warum Bayes-Netze schwer zu skalieren sind?

— Ellis Valentiner

6

Ein Vorteil des BNN gegenüber dem NN besteht darin, dass Sie beim Umgang mit Daten unbekannter Ziele automatisch einen Fehler berechnen können, der mit Ihren Vorhersagen zusammenhängt. Mit einer BNN führen wir jetzt Bayes'sche Inferenz durch. Lassen Sie uns definieren unsere BNN Vorhersage als , wobei ist die NN - Funktion, sind Ihre Eingaben, $\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$ $f$ $x'$ $ω$ sind die NN-Parameter und x, t sind die Trainingseingaben und -ziele. Dies sollte mit der von Neal in den von @forecaster bereitgestellten Links verwendeten Syntax kompatibel sein. Dann können wir eine Standardabweichung der posterioren Vorhersageverteilung berechnen, die ich naiv als Genauigkeit für die Vorhersage verwenden würde: $\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$

— Michelle K
quelle

1

Dies ist eine interessante Ergänzung zum Gespräch, für unsere Verhältnisse jedoch etwas kurz. Könnten Sie etwas näher darauf eingehen und vielleicht eine Referenz hinzufügen?

— Sycorax sagt Reinstate Monica

Sicher. Mit einer BNN führen wir jetzt Bayes'sche Inferenz durch. Lassen Sie uns definieren unsere BNN Vorhersage als

, wobei f die NN - Funktion, x‘sind Ihre Eingaben,

sind die NN-Parameter und

\bar{f} (x^{'} | x, t) = \int f (x^{'}, ω) p (ω | x, t) d ω

$\bar{f}(x'|x,t) = \int{f(x',\omega)p(\omega|x,t) d\omega}$

ω

$\omega$

x, t

$x,t$ sind die Trainingsinputs und -ziele. Dies sollte mit der von Neal in den von @forecaster bereitgestellten Links verwendeten Syntax kompatibel sein. Dann können wir eine Standardabweichung der posterioren Vorhersageverteilung berechnen, die ich naiv als Genauigkeit für die Vorhersage verwenden würde:

σ (x^{'}) = \sqrt{(} \int [f (x^{'}, ω) - \bar{f} (x^{'} | x, t)]^{2} p (ω | x, t) d ω)

$\sigma(x') = \sqrt(\int{[f(x',\omega)-\bar{f}(x'|x,t)]^2p(\omega|x,t) d\omega})$

— Michelle K

Bitte bearbeite dies in deine Antwort.

— Sycorax sagt Reinstate Monica