Gibt es eine Domäne, in der Spiking Neural Networks andere Algorithmen übertreffen (Non-Spiking)?

Ich lese über Reservoir-Computing- Techniken wie Echo State Networks und Liquid State Machines . Beide Verfahren umfassen das Zuführen von Eingaben zu einer Population zufällig (oder nicht) verbundener Spike-Neuronen und einen relativ einfachen Auslesealgorithmus, der die Ausgabe erzeugt (z. B. lineare Regression). Die Neuronenpopulationsgewichte werden entweder festgelegt oder über eine hebräisch-ähnliche lokale Aktivitätsregel wie STDP trainiert .

Diese Techniken funktionieren gut bei der Modellierung mehrdimensionaler Eingaben mit signifikanten zeitlichen Komponenten. Die Berechnung der Potentiale der Spike-Neuronenmembran beinhaltet jedoch die Integration von Differentialgleichungen und kann rechenintensiv sein.

Gibt es Beispiele dafür, wo die zusätzliche Rechenkomplexität von Reservoir-Computertechniken durch Gewinne bei einer Vorhersage- oder Klassifizierungsaufgabe aufgewogen wird?

Gibt es beispielsweise Fälle von SNN-Techniken, die vergleichsweise komplexe Architekturen übertreffen, die auf RNNs, ANNs, SVMs, DNNs, CNNs oder anderen Algorithmen basieren?

Meine Antwort stammt mehr aus Erfahrungen als aus veröffentlichten Experimenten oder Benchmarks.

Soweit ich weiß, übertreffen Spiking Neural Networks in keiner Aufgabe andere Algorithmen. Es gab Fortschritte in der Robotik und im Reservoir-Computing, aber Reservoir-Computing-Algorithmen sind nach jüngsten Veröffentlichungen genauso gut wie andere Algorithmen (wie das Verstärkungslernen). Es gibt Gerüchte, dass einige Unternehmen an diesen Algorithmen interessiert sind, weil sie kürzlich einige Reservoir-Computing-Forscher eingestellt haben, aber dies sind nur Gerüchte.

Hier ist eine der neuesten Veröffentlichungen, in der die Fortschritte und Einschränkungen des Reservoir-Computing in der Robotik beschrieben werden: https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_paper_Polydoros.pdf

Ich begann im College mit Liquid State Machines zu experimentieren, wobei ich die von Wolfgang Maass vorgeschlagene Architektur verwendete. Es sah vielversprechend aus, insbesondere die Idee, dass inhibitorische Neuronen Teil des Schaltkreises sind. In der Realität reichte die Verwendung dieser Algorithmen in realen Datenanwendungen (Sprachklassifizierung, Bildklassifizierung usw.) jedoch nicht aus, um den Benchmarks wie RNNs, ANNs und SVMs nahe zu kommen. Manchmal sind sogar Vanilla Multilayer Neural Networks leistungsfähiger als Liquid State Machines. Ich verstehe, dass diese Art von Modellen gut für die Robotik und andere autonome Aufgaben wie Sensoren und autonome Navigation geeignet ist (aber das war nicht mein Forschungsgebiet), aber nicht so sehr für andere Datentypen. Es gibt einige Labore, hauptsächlich in Europa, die mit diesem Algorithmus arbeiten, aber bisher habe ich in den letzten Jahren nicht von vielen Fortschritten in diesem Bereich gehört.

Ich glaube, dass gehirninspirierte Algorithmen der nächste große Schritt in der KI sind, und während viele Unternehmen wie Numenta und Deepmind in diese Richtung forschen, gibt es bis heute noch viel zu tun, um den nächsten Durchbruch zu erzielen AI.