Rechenleistung neuronaler Netze?

Angenommen, wir haben ein einschichtiges neuronales Feed-Forward-Netzwerk mit k Eingängen und einem Ausgang. Es berechnet eine Funktion aus . Es ist ziemlich leicht zu erkennen, dass diese mindestens die gleiche Rechenleistung wie . Nur zum Spaß nennen wir den Satz von Funktionen, die von einem neuronalen Einschichtnetzwerk berechenbar sind, " ". $\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace$ $AC^0$ $Neural$

Es scheint jedoch, dass es mehr Rechenleistung als allein haben könnte. $AC^0$

Also ... ist oder ist ? Wurde diese Art von Komplexitätsklasse auch schon einmal untersucht? $AC^0 \subseteq Neural$ $Neural = AC^0$

— gabgoh
quelle

Ein Hinweis zur Terminologie - wichtige Information ist, wie viele versteckte Ebenen es gibt. Neuronales Netzwerk mit einer versteckten Schicht und einer Ausgabe ist nur eine lineare Schwellenfunktion und wird oft (verwirrenderweise) als neuronales Netzwerk / Perzeptron mit einer Schicht oder mit zwei Schichten bezeichnet, je nachdem, ob Eingaben / Ausgaben als Schichten betrachtet werden. In der AI-Literatur werden neuronale Netze typischerweise in Form von Sigmoid-Funktionen definiert, was bedeutet, dass Ein- / Ausgaben reelle Werte sind. Es ist bekannt, dass ein Hidden-Layer-Netzwerk universelle Approximatoren in dem Sinne sind, dass jede kontinuierliche Funktion beliebig nahe angenähert werden kann

— Jaroslaw Bulatow,

Es gibt einige Referenzen, die ich finden könnte: Allzweckberechnung mit neuronalen Netzen: Eine Übersicht über komplexitätstheoretische Ergebnisse, 2003 und Zählhierarchien: Polynomzeit- und Konstanttiefenschaltungen, 1993 .

Es scheint, dass neuronale Netze als Schwellenwertschaltungen betrachtet werden; dh diese Schaltkreise, die MAJORITY-Gatter verwenden. In (2) ist es der Fall , dass eine Tiefe neurale Netzwerkkomplexität hat (hier ist ein Link zu Link zu Komplexität Zoo Eintrag über ). $d$ $TC^0_d$ $TC^0$

$TC^0$ $ACC^0$ $AC^0$ $AC^0 \subset TC^0$

$d$

— M. Alaggan
quelle

T C^{0}

$TC^0$