Warum reichen tiefe neuronale Netze und tiefes Lernen nicht aus, um allgemeine Intelligenz zu erreichen?

Alles, was mit Deep Learning (DL) und Deep (er) Netzwerken zu tun hat, scheint "erfolgreich" zu sein, zumindest sehr schnell voranzukommen und den Glauben zu pflegen, dass AGI in Reichweite ist. Das ist populäre Vorstellung. DL ist ein hervorragendes Instrument, um so viele Probleme anzugehen, einschließlich der Schaffung von AGIs. Es ist jedoch nicht genug. Ein Werkzeug ist eine notwendige Zutat, aber oft unzureichend.

Führende Persönlichkeiten in diesem Bereich suchen anderswo nach Fortschritten. Dieser Bericht / Anspruch enthält Links zu Aussagen von Yoshua Bengio , Yann LeCun und Geoff Hinton . Der Bericht erklärt auch:

Die Hauptschwächen von DL (wie ich sie sehe) sind: Vertrauen auf möglichst einfache Modellneuronen („karikaturistisch“, wie LeCun sie nennt); Verwendung von Ideen aus der statistischen Mechanik und Statistik des 19. Jahrhunderts, die die Grundlage für Energiefunktionen und Log-Likelihood-Methoden bilden; und die Kombination dieser Techniken in Techniken wie Backprop und stochastischem Gradientenabstieg, was zu einem sehr begrenzten Anwendungsregime führt (offline, meist gestapelt, überwachtes Lernen), das hochtalentierte Praktiker (auch bekannt als „Stochastic Graduate Descent“) erfordert, große Mengen teurer beschriftete Trainingsdaten und Rechenleistung. DL eignet sich zwar hervorragend für große Unternehmen, die Talente anlocken oder kaufen und unbegrenzte Ressourcen einsetzen können, um Daten zu sammeln und zu verarbeiten, ist jedoch für die meisten von uns weder zugänglich noch nützlich.

Obwohl interessant und relevant, spricht eine solche Erklärung den Kern des Problems nicht wirklich an: Was fehlt?

Die Frage scheint weit gefasst zu sein, aber es kann an einer einfachen Antwort mangeln. Gibt es eine Möglichkeit, genau zu bestimmen, was DL für eine AGI fehlt?

Jeder, der sich mit neuronalen Netzen befasst, übersieht einen wichtigen Punkt beim Vergleich von Systemen mit menschlicher Intelligenz. Ein Mensch braucht viele Monate, um etwas Verständliches zu tun, geschweige denn, um Probleme zu lösen, die erwachsene Menschen kaum bewältigen können. Das und die Größe des menschlichen Gehirns ist im Vergleich zu unseren neuronalen Netzen enorm. Die Richtung mag richtig sein, aber die Skala ist weit entfernt. Die Anzahl der Neuronen im menschlichen Gehirn kann in Bezug auf das Gedächtnis angepasst werden, aber das Ausmaß der Parallelität, um es in Echtzeit zu simulieren, kann noch nicht erreicht werden (zumindest für einen zufälligen Forscher). Während ein wenig alt dies könnte Ihnen eine Idee geben , wie viel wir die Rechenleistung fehlt.

Deep Learning ist meist erfolgreich beim überwachten Lernen, während das Gehirn Kategorien meist unbeaufsichtigt aufbaut. Wir wissen noch nicht, wie das geht. (Werfen Sie einen Blick auf Google Brain : 16.000 Kerne und alles, was Sie tun können, ist, Katzen und menschliche Gesichter mit ziemlich miserabler Genauigkeit zu erkennen.)

Deep Learning verwendet sehr unstrukturierte Aktivierungen, dh die Darstellungen von "Hund" und "Katze" auf hoher Ebene in einem Klassifikator für neuronale Netze müssen überhaupt nicht ähnlich sein. Das Gehirn hingegen verwendet inhibitorische Neuronen, um spärlich verteilte Darstellungen zu erstellen, die in ihre semantischen Aspekte zerlegbar sind. Das ist wahrscheinlich wichtig für die Abstraktion und das analoge Denken.

Das Gehirn hat viele verschiedene Teile, die zusammenarbeiten. Deep Learning-Forscher beginnen gerade erst, Gedächtnis- oder Aufmerksamkeitsmechanismen in ihre Architektur zu integrieren .

Das Gehirn integriert Informationen aus vielen verschiedenen Sinnen. Die meisten Deep Learning-Anwendungen verwenden nur eine Art von Eingabe, z. B. Text oder Bilder.

Das Gehirn ist in der Lage, Sequenzen als Kategorien zu modellieren. (Grundsätzlich benennt jedes Verb eine sequentielle (dh zeitliche) Kategorie.) Diese Kategorien können dann in langfristigen hierarchischen Plänen angeordnet werden. Bisher habe ich in Deep Learning nichts in diese Richtung gesehen.

Auch neuronale Netze können noch nicht im gleichen Maßstab wie das menschliche Gehirn arbeiten. Wenn Sie sich die Antworten auf diese Frage ansehen , wird das menschliche Gehirn in der Anzahl der Neuronen noch einige Jahrzehnte voraus sein. Ein neuronales Netzwerk benötigt möglicherweise nicht die gleiche Anzahl von Neuronen wie das Gehirn, um eine ähnliche Leistung zu erzielen (aufgrund der höheren Genauigkeit), aber derzeit ist beispielsweise die Videoverarbeitung in Bezug auf Eingabe und Durchsatz noch ziemlich begrenzt.

IMHO ist die erste Hürde die Skalierung : Selbst Googles größte DNN kommt der Skalierung des Gehirns nicht nahe und um einen Faktor von mehreren Größenordnungen ...

Ich denke, es fehlen noch die Aspekte, die ein menschliches Gehirn ausmachen. viele verschiedene Netzwerke miteinander arbeiten.

So wie Meditation die kognitiven Fähigkeiten verbessert, indem das Gehirn synergistischer arbeitet, könnten wir dies auch auf Maschinen anwenden.

Zum Beispiel lernt Google einen Computer, um zu träumen, genau wie wir, um das zu verstärken, was wir bereits gelernt haben. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Und hier ist pathnet, ein Netzwerk neuronaler Netze. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Wenn Sie all diese Mechaniken erstellen und zusammenfügen, mit genügend Kraft, werden wir uns ziemlich nahe kommen!

Befürworter der künstlichen Intelligenz konzentrieren sich heute auf das Problem der Berechenbarkeit - die Fähigkeit, komplexe Probleme schnell zu lösen. Ich bin davon überzeugt, dass ein Erfolg in dieser Richtung nicht zu menschlicher (allgemeiner) Intelligenz führen wird, obwohl er in bestimmten Bereichen sicherlich die Leistung des Menschen übertreffen wird. Stattdessen sollten Anstrengungen unternommen werden, um zu untersuchen, welche neurologischen Ereignisse eine Sensation verursachen (die Erfahrung von Qualia). Natürlich ist dies das schwierige Problem der Philosophie, aber ich glaube, es ist der einzigartige Schlüssel zur allgemeinen Intelligenz und ihren Fähigkeiten. Reverse Engineering und auch überprüfbare Theorien sollten zu diesem Zweck weiterentwickelt werden.