Unterschied: Neuronales Replikator-Netzwerk vs. Autoencoder

Ich studiere derzeit Artikel über die Erkennung von Ausreißern mithilfe von RNNs (Replicator Neural Networks) und frage mich, was der besondere Unterschied zu Autoencodern ist. RNNs scheinen für viele als der heilige Gral der Erkennung von Ausreißern / Anomalien zu gelten, aber die Idee scheint ziemlich alt zu sein, da Autoencoder schon lange dort sind.

Beide Arten von Netzwerken versuchen, die Eingabe zu rekonstruieren, nachdem sie durch einen Komprimierungs- / Dekomprimierungsmechanismus eingespeist wurden. Zur Ausreißererkennung wird der Rekonstruktionsfehler zwischen Eingabe und Ausgabe gemessen - bei Ausreißern wird ein höherer Rekonstruktionsfehler erwartet.

Der Hauptunterschied scheint in der Art und Weise zu liegen, wie die Eingabe komprimiert wird:

Einfache Autoencoder drücken die Eingabe durch eine verborgene Schicht, die weniger Neuronen als die Eingabe- / Ausgabeschichten hat. Auf diese Weise muss das Netzwerk eine komprimierte Darstellung der Daten lernen.

Neuronale Replikatornetzwerke drücken die Daten durch eine verborgene Schicht, die eine treppenartige Aktivierungsfunktion verwendet. Durch die treppenartige Aktivierungsfunktion komprimiert das Netzwerk die Daten, indem es sie einer bestimmten Anzahl von Clustern zuordnet (abhängig von der Anzahl der Neuronen und der Anzahl der Schritte).

Von neuronalen Replikator-Netzwerken für die Ausreißermodellierung bei der segmentalen Spracherkennung :

RNNs wurden ursprünglich im Bereich der Datenkomprimierung eingeführt [5]. Hawkins et al. schlug es für die Ausreißermodellierung vor [4]. In beiden Arbeiten wird eine 5-Schicht-Struktur mit einer linearen Ausgangsschicht und einer speziellen treppenartigen Aktivierungsfunktion in der mittleren Schicht empfohlen (siehe Abb. 2). Die Rolle dieser Aktivierungsfunktion besteht darin, den Vektor der Ausgaben der mittleren verborgenen Schicht in Gitterpunkte zu quantisieren und so die Datenpunkte in einer Anzahl von Clustern anzuordnen.