Energieeffizienz des menschlichen Gehirns im Vergleich zu neuronalen Netzen

Wie große künstliche neuronale Netze können wir jetzt betreiben (entweder mit vollem Zug-Backprop-Zyklus oder nur zur Auswertung der Netzleistungen), wenn unser Gesamtenergiebudget für die Berechnung dem Energiebudget des menschlichen Gehirns ( 12,6 Watt ) entspricht?

Nehmen wir einen Zyklus pro Sekunde an, der in etwa der Feuerrate biologischer Neuronen entspricht .

neural-networks human-like

— liori
quelle

Ich wollte diese Frage stellen. Ich bin froh, dass es schon jemand anderes getan hat :)

— Eka

126 Millionen künstliche Neuronen bei 12,6 Watt mit IBMs True North

Im Jahr 2014 drückte der True North- Chip von IBM 1 Million Neuronen mit weniger als 100 mW.

Das sind also ungefähr 126 Millionen künstliche Neuronen bei 12,6 Watt.

Eine Maus hat 70 Millionen Neuronen.

IBM glaubt, dass sie einen True North-Mainframe im menschlichen Gehirn mit "nur" 4 kW bauen können.

Sobald 3D-Transistoren auf den Markt kommen, werden wir die Effizienz des tierischen Gehirns ziemlich schnell erreichen.

— Doxosophoi
quelle

> Das sind also ungefähr 126 Millionen künstliche Neuronen bei 12,6 Watt. > Eine Maus hat 70 Millionen Neuronen. Das Problem ist, wir wissen nicht, ob ein einzelnes künstliches "Neuron" wirklich ein Eins-zu-Eins-Äquivalent für ein echtes biologisches Neuron ist.

— Gedankenverbrechen

Denken Sie neben Mindcrime daran, dass Neurowissenschaftler / KI-Forscher seit etwa 60 Jahren die Verarbeitungsleistung des menschlichen Gehirns immer wieder stark unterschätzt haben. Ich habe frühe Schätzungen von großen Namen gesehen, dass unser Verstand nur ein paar 100 MB speichern konnte! Wir müssen noch Dinge wie Bittiefe, richtige Architektur, mögliche Quantenzustände in Gehirnzellen usw. berücksichtigen. IBM baut wahrscheinlich ein energieeffizientes neuronales Netz mit 70 Millionen Neuronen auf, das das Verhalten der Parasiten einer Maus nicht annähern kann . KI-Forscher haben ihre eigenen Fähigkeiten historisch immer stark überschätzt.

— SQLServerSteve

In der Tat vergessen über IBM-Chips. Ich habe sie beim Schreiben der Frage nicht einmal berücksichtigt, da Kritik an ihrer Effizienz bekannt ist (siehe z . B. facebook.com/yann.lecun/posts/10152184295832143 ). Obwohl sie technisch immer noch neuronale Netze implementieren, also +1 von mir.

— Liori

@mindcrime & SQLServerSteve Nun, die Frage könnte sich speziell auf Vanilla-Feed-Forward-ANNs beziehen, die auf Standardhardware ausgeführt werden. Das ist jedoch nicht der Eindruck, den ich von der Frage bekommen habe.

— Doxosophoi

Es schien auch nicht um künstliche neuronale Netze zu gehen, die man sich noch nicht vorstellen kann.

— Doxosophoi

Wenn Sie sich auf 12,6 Watt beschränken würden, würden Sie nicht viel erreichen. Suchen Sie einfach nach dem Stromverbrauch einer modernen GPU, sehen Sie sich die Größe der Netzwerke an, auf denen die Benutzer trainieren, und verkleinern Sie sie dann. Als Referenz scheinen moderne GPUs bei starker Beanspruchung zwischen 52 und 309 Watt zu verbrauchen .

Energieeffizienz ist eindeutig ein Bereich, in dem das menschliche Gehirn immer noch weit von ANN entfernt ist.

— Geisteskriminalität
quelle