Geometrie und KI
Matrizen, Würfel, Ebenen, Stapel und Hierarchien können genau als Topologien bezeichnet werden . Betrachten Sie in diesem Zusammenhang die Topologie als das übergeordnete geometrische Design eines Lernsystems.
Mit zunehmender Komplexität ist es häufig nützlich, diese Topologien als gerichtete Graphstrukturen darzustellen. Zustandsdiagramme und Markovs Arbeit zur Spieltheorie sind zwei Orte, an denen häufig gerichtete Graphen verwendet werden. Gerichtete Diagramme haben Eckpunkte (häufig als geschlossene Formen dargestellt) und Kanten, die häufig als Pfeile dargestellt werden, die die Formen verbinden.
Wir können GANs auch als gerichteten Graphen darstellen, bei dem die Ausgabe jedes Netzes das Training des anderen auf kontroverse Weise steuert. GANs ähneln topologisch einem Möbius-Streifen.
Wir können keine neuen Designs und Architekturen entdecken, ohne nicht nur die Mathematik der Konvergenz auf eine optimale Lösung oder die Verfolgung einer zu verstehen, sondern auch die Topologien von Netzwerkverbindungen, die eine solche Konvergenz unterstützen können. Es ist so, als würde man zuerst einen Prozessor entwickeln und sich vorstellen, was ein Betriebssystem benötigt, bevor man das Betriebssystem schreibt.
Um zu sehen, welche Topologien wir NOCH NICHT berücksichtigt haben, schauen wir uns zunächst an, welche.
Erster Schritt - Extrusion in einer zweiten Dimension
In den 1980er Jahren wurde Erfolg mit der Erweiterung des ursprünglichen Perzeptron-Designs erzielt. Die Forscher fügten eine zweite Dimension hinzu, um ein mehrschichtiges neuronales Netzwerk zu erstellen. Eine vernünftige Konvergenz wurde durch Rückausbreitung des Gradienten einer Fehlerfunktion durch die Gradienten der Aktivierungsfunktionen erreicht, die durch Lernraten abgeschwächt und mit anderen Metaparametern gedämpft wurden.
Schritt 2 - Hinzufügen von Dimensionen zum diskreten Eingangssignal
Wir sehen die Entstehung von Faltungsnetzwerken, die auf vorhandenen manuell abgestimmten Bildfaltungstechniken basieren und Dimensionen in die Netzwerkeingabe einführen: Vertikale Position, Farbkomponenten und Rahmen. Diese letzte Dimension ist entscheidend für CGI, Gesichtsersatz und andere morphologische Techniken im zeitgenössischen Filmemachen. Ohne sie haben wir Bilderzeugung, Kategorisierung und Rauschentfernung.
Schritt drei - Stapel von Netzwerken
Wir sehen, dass Ende der neunziger Jahre Stapel neuronaler Netze entstehen, in denen das Training eines Netzwerks von einem anderen überwacht wird. Dies ist die Einführung konzeptioneller Schichten, weder im Sinne von aufeinanderfolgenden Schichten von Neuronen noch im Sinne von Farbschichten in einem Bild. Diese Art der Überlagerung ist ebenfalls keine Rekursion. Es ist eher wie in der natürlichen Welt, in der eine Struktur ein Organ in einer anderen völlig anderen Art von Struktur ist.
Schritt vier - Hierarchien von Netzwerken
Wir sehen, dass in der Forschung aus den 2000er und frühen 2010er Jahren (Laplace und andere) häufig Hierarchien neuronaler Netze auftauchen, die die Interaktion zwischen neuronalen Netzen fortsetzen und die Analogie des Gehirns von Säugetieren fortsetzen. Wir sehen jetzt eine Metastruktur, bei der ganze Netzwerke zu Eckpunkten in einem gerichteten Graphen werden, der eine Topologie darstellt.
Schritt fünf% mdash; Abweichungen von der kartesischen Orientierung
In der Literatur haben sich nicht-kartesische, sich systematisch wiederholende Anordnungen von Zellen und Verbindungen zwischen ihnen herausgebildet. Zum Beispiel untersuchen Gauge Equivariant Convolutional Networks und das Icosahedral CNN (Taco S. Cohen, Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) die Verwendung einer Anordnung, die auf einem konvexen regulären Ikosaeder basiert.
Zusammenfassen
Schichten haben normalerweise bewertete Aktivierungsfunktionen für Eckpunkte und Dämpfungsmatrizen, die auf einen erschöpfenden Satz gerichteter Kanten zwischen benachbarten Schichten abgebildet sind [1]. Bildfaltungsschichten befinden sich häufig in zweidimensionalen Scheitelpunktanordnungen mit Dämpfungswürfeln, die auf einen verkürzten Satz gerichteter Kanten zwischen benachbarten Schichten abgebildet sind [2]. Stapel haben ganze geschichtete Netze als Eckpunkte in einem meta-gerichteten Graphen, und diese Meta-Eckpunkte sind in einer Sequenz verbunden, wobei jede Kante entweder ein Trainings-Metaparameter, ein Verstärkungssignal (Echtzeit-Feedback) oder eine andere Lernsteuerung ist . Hierarchien von Netzen spiegeln die Vorstellung wider, dass mehrere Steuerelemente aggregiert werden können und das Lernen auf niedrigerer Ebene steuern, oder den Flip-Fall, in dem mehrere Lernelemente von einem übergeordneten Supervisor-Netzwerk gesteuert werden können.
Analyse des Trends bei Lerntopologien
Wir können Trends in der Architektur des maschinellen Lernens analysieren. Wir haben drei topologische Trends.
Tiefe in der Kausalitätsdimension - Schichten zur Signalverarbeitung, bei denen die Ausgabe einer Aktivierungsschicht über eine Matrix von Dämpfungsparametern (Gewichten) der Eingabe der nächsten Schicht zugeführt wird. Wenn größere Kontrollen eingerichtet werden, kann erst beginnend mit dem grundlegenden Gradientenabstieg in der Rückenpropagagion eine größere Tiefe erreicht werden.
Dimensionalität des Eingangssignals - Von der skalaren Eingabe bis zu Hyperwürfeln (Video hat horizontale, vertikale, Farbtiefe einschließlich Transparenz und Rahmen - Beachten Sie, dass dies nicht mit der Anzahl der Eingaben im Perzeptron-Sinne übereinstimmt.
Topologische Entwicklung - Die beiden oben genannten sind kartesischer Natur. Bemaßungen werden rechtwinklig zur vorhandenen Bemaßung hinzugefügt. Da Netzwerke in Hierarchien (wie in Laplace-Hierarchien) und Möbius-Streifen (wie in GANs) verkabelt sind, sind die Trends topografisch und werden am besten durch gerichtete Graphen dargestellt, bei denen die Eckpunkte keine Neuronen sind, sondern kleinere Netzwerke davon.
Welche Topologien fehlen?
Dieser Abschnitt erweitert die Bedeutung der Titelfrage.
- Gibt es einen Grund, warum mehrere Meta-Vertices, die jeweils ein neuronales Netz darstellen, so angeordnet werden können, dass mehrere Supervisor-Meta-Vertices zusammen mehrere Mitarbeiter-Meta-Vertices überwachen können?
- Warum ist die Rückausbreitung eines Fehlersignals das einzige nichtlineare Äquivalent einer negativen Rückkopplung?
- Kann nicht eine Zusammenarbeit zwischen Meta-Vertices anstelle einer Überwachung angewendet werden, bei der zwei reziproke Kanten Steuerelemente darstellen?
- Da neuronale Netze hauptsächlich zum Lernen nichtlinearer Phänomene verwendet werden, warum sollten andere Arten geschlossener Pfade beim Entwurf der Netze oder ihrer Verbindung verboten werden?
- Gibt es einen Grund, warum dem Bild kein Ton hinzugefügt werden kann, damit Videoclips automatisch kategorisiert werden können? Wenn dies der Fall ist, ist ein Drehbuch eine mögliche Merkmalsextraktion eines Films und kann eine kontroverse Architektur verwendet werden, um Drehbücher zu erstellen und Filme ohne das Filmstudiosystem zu produzieren? Wie würde diese Topologie als gerichteter Graph aussehen?
- Obwohl orthogonal angeordnete Zellen eine beliebige regelmäßige Packungsanordnung von nicht orthogonalen Eckpunkten und Kanten simulieren können, ist dies bei der Bildverarbeitung effizient, wenn eine andere Neigung der Kamera als plus oder minus 90 Grad üblich ist?
- Ist es effizient, einzelne Zellen in Netzwerken oder Netzwerken von Zellen in KI-Systemen orthogonal in Lernsystemen anzuordnen, die auf das Verstehen und Zusammensetzen natürlicher Sprachen oder auf künstliche Wahrnehmung abzielen?
Anmerkungen
Künstliche Zellen in MLPs verwenden Gleit- oder Festkomma-Arithmetikübertragungsfunktionen anstelle von elektrochemischen Impulsübertragungen basierend auf der auf Amplitude und Nähe basierenden Schwelle. Sie sind keine realistischen Simulationen von Neuronen, daher wäre das Aufrufen der Eckpunkte Neuronen eine Fehlbezeichnung für diese Art der Analyse.
Die Korrelation von Bildmerkmalen und relativen Änderungen zwischen Pixeln in unmittelbarer Nähe ist viel höher als die von entfernten Pixeln.