Ikonenhafte (Spielzeug-) Modelle neuronaler Netze

Meine Physikprofessoren an der Graduiertenschule sowie der Nobelpreisträger Feynman präsentierten immer das, was sie Spielzeugmodelle nannten, um grundlegende Konzepte und Methoden der Physik wie den harmonischen Oszillator, das Pendel, den Kreisel und die Black Box zu veranschaulichen.

Welche Spielzeugmodelle werden verwendet, um die grundlegenden Konzepte und Methoden zu veranschaulichen, die der Anwendung neuronaler Netze zugrunde liegen? (Referenzen bitte.)

Unter einem Spielzeugmodell verstehe ich ein besonders einfaches, minimal dimensioniertes Netzwerk, das auf ein stark eingeschränktes Problem angewendet wird, durch das grundlegende Methoden vorgestellt und das eigene Verständnis durch die tatsächliche Implementierung getestet und verbessert werden kann, dh den grundlegenden Code zu konstruieren und vorzugsweise bis zu einem gewissen Grad zu tun. Überprüfen der Grundrechenarten von Hand oder mithilfe einer symbolischen Mathe-App.

Eine der klassischsten ist das zweidimensionale Perceptron , das bis in die 1950er Jahre zurückreicht. Dies ist ein gutes Beispiel, da es eine Startrampe für modernere Techniken ist:

1) Nicht alles ist linear trennbar (daher nichtlineare Aktivierungen oder Kernel-Methoden, mehrere Schichten usw.).

2) Das Perceptron konvergiert nicht, wenn die Daten nicht linear trennbar sind (kontinuierliche Trennungsmessungen wie Softmax, Lernratenabfall usw.).

3) Während es unendlich viele Lösungen für die Aufteilung von Daten gibt, ist es klar, dass einige wünschenswerter sind als andere (maximaler Grenzabstand, SVMs usw.)

Für mehrschichtige neuronale Netze mögen Sie möglicherweise die Spielzeugklassifizierungsbeispiele, die mit dieser Visualisierung geliefert werden .

Für Convolutional Neural Nets ist der MNIST der klassische Goldstandard mit einer hübschen Visualisierung hier und hier .

Für RNNs ist ein wirklich einfaches Problem, das sie lösen können, die binäre Addition , die das Speichern von 4 Mustern erfordert.

1. Das XOR-Problem ist wahrscheinlich das kanonische ANN-Spielzeugproblem.

   Richard Bland Juni 1998 Universität Stirling, Institut für Informatik und Mathematik Informatik Technischer Bericht " Lernen von XOR: Erforschung des Raums eines klassischen Problems "

2. Der TensorFlow-Spielplatz ist eine interaktive Schnittstelle zu verschiedenen neuronalen Spielzeugnetzen, einschließlich XOR und Jellyroll.

3. Den größten Eigenwert einer symmetrischen Matrix mit fester Größe (2x2 oder 3x3) zu berechnen, ist einer, den ich in Klassenzimmerdemos verwende.

   A. Cichocki und R. Unbehauen. " Neuronale Netze zur Berechnung von Eigenwerten und Eigenvektoren " Biological Cybernetics Dezember 1992, Band 68, Ausgabe 2, S. 155–164

Probleme wie MNIST sind auf jeden Fall kanonisch, lassen sich aber nicht leicht von Hand überprüfen - es sei denn, Sie haben gerade enorme Freizeit. Der Code ist auch nicht besonders grundlegend.

In Bezug auf NLP-Aufgaben ist die Penn Tree Bank ein sehr standardmäßiger Benchmark-Datensatz, der beispielsweise in Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals " Recurrent Neural Network Regularization " und wahrscheinlich Hunderten anderer Veröffentlichungen verwendet wird.

Ich kenne kein physisches Spielzeug, aber das beste Beispiel, das ich kenne, ist eine mehrschichtige KI, die durch einen genetischen Algorithmus erzeugt wurde, um Super Mario Brothers zu spielen. Der Quellcode befindet sich in der Videobeschreibung.

MarI / O - Maschinelles Lernen für Videospiele: https://www.youtube.com/watch?v=qv6UVOQ0F44