Sortieren Sie Zahlen mit nur 2 versteckten Ebenen

10

Ich lese das Eckpfeiler Sequence to Sequence Learning mit neuronalen Netzen von Ilya Sutskever und Quoc Le. Auf der ersten Seite wird kurz erwähnt, dass:

A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size

Kann jemand kurz skizzieren, wie man Zahlen mit nur 2 versteckten Ebenen sortiert?

deep-learning

— Aerin
quelle

3

Bei einigen Recherchen habe ich ein Papier gefunden, das beweist, dass das Sortieren mit höchstens drei Schichten durchgeführt werden kann und dass ihre Lösung optimal ist, wenn Sie die Größe des Netzwerks auf die Anzahl der Eingangsnummern als Polynom beschränken:

Tiefeneffiziente neuronale Netze für Teilungs- und verwandte Probleme , siehe Satz 7 auf Seite 955 (Seite 10 im PDF).

— Maximilian Janisch
quelle

1

Vielen Dank, dass Sie das entsprechende Papier gefunden haben! Tatsächlich sortiert dieses Papier mit "Tiefe" 3, was nur zwei versteckte Schichten zu bedeuten scheint. Siehe auch ihre Referenz 14, auf die sie sich für die Untergrenze "Threshold Circuits of Bounded Depth" stützen, igi-web.tugraz.at/people/maass/psfiles/34o.pdf (auch auf ResearchGate), insbesondere auf den Seiten 131-132 (3) -4 in pdf).

— Ben Reiniger

1

Ich würde mir vorstellen, dass man sich Gewichte manuell einfallen lassen könnte, um die Arbeit genau zu erledigen, aber vielleicht geht es darum, eines trainieren zu können? Einige Beispiele:

Wie sortiere ich Zahlen mit Convolutional Neural Network?

https://github.com/primaryobjects/nnsorting

— Ben Reiniger
quelle