Bezieht sich die Rechenleistung neuronaler Netze auf die Aktivierungsfunktion?

10

Es ist erwiesen, dass neuronale Netze mit rationalen Gewichten die Rechenleistung der Universal Turing Machine besitzen Turing-Berechenbarkeit mit neuronalen Netzen besitzen . Nach allem, was ich bekomme, scheint die Verwendung von realwertigen Gewichten noch mehr Rechenleistung zu bringen, obwohl ich mir dessen nicht sicher bin.

Gibt es jedoch eine Korrelation zwischen der Rechenleistung eines neuronalen Netzes und seiner Aktivierungsfunktion? Wenn zum Beispiel die Aktivierungsfunktion die Eingabe mit einer Grenze einer Specker-Sequenz vergleicht (was Sie mit einer normalen Turing-Maschine nicht tun können, oder?), Macht dies das neuronale Netz rechnerisch "stärker"? Könnte mich jemand auf einen Hinweis in diese Richtung verweisen?

computability neural-networks

— K.Steff
quelle

Was meinst du mit Rechenleistung?

— edA-qa mort-ora-y

@ edA-qamort-ora-y Ich habe einige Änderungen vorgenommen, um die Frage zu klären. Wenn Sie weitere Bearbeitungsvorschläge haben, würde ich diese auch gerne

— berücksichtigen

12

Nur eine Notiz:

rezidivierende rational gewichteten s boolean Aktivierungsfunktionen (einfache Schwellen) sind äquivalent zu endlichen Automaten (Minsky, "Computation: finite und unendliche Maschinen", 1967); $NN$
$NN$
$NN$

aber ...

$NN$

— Vor
quelle

5

Ich werde die einfache Lösung nehmen und "Ja" sagen. Stellen Sie sich eine Aktivierungsfunktion vor, die alle Eingaben akzeptiert und einfach einen konstanten Wert zurückgibt (dh die Eingaben ignoriert). Dieses Netzwerk führt immer zu einer konstanten Ausgabe, und daher ist die Rechenleistung (wahrscheinlich nach jeder Definition) dieses Netzwerks Null. Es ist nicht in der Lage, etwas zu berechnen.

Dies reicht aus, um eine Korrelation zwischen der Aktivierungsfunktion und der Leistung des Netzwerks zu zeigen. Es zeigt und widerlegt natürlich nicht, dass ein Netzwerk mehr Leistung haben könnte als eine universelle Turingmaschine.

— edA-qa mort-ora-y
quelle