Können Autoencoder für überwachtes Lernen verwendet werden?

9

Können Autoencoder für überwachtes Lernen verwendet werden, ohne eine Ausgabeebene hinzuzufügen ? Können wir es einfach mit einem verketteten Eingabe-Ausgabe-Vektor für das Training füttern und den Ausgabe-Teil aus dem Eingabe-Teil rekonstruieren, wenn wir Inferenz machen? Der Ausgabeteil würde während der Inferenz als fehlende Werte behandelt und eine gewisse Imputation würde angewendet.

neural-networks

— rcpinto
quelle

Ich verstehe nicht ganz. Wenn Sie es mit Eingabe-Ausgabe-Vektoren trainieren, benötigen Sie auch Ausgabevektoren, während Sie Inferenz durchführen, um es dem Netzwerk zuzuführen. Was wirst du dagegen tun?

— Didam I

Nein, sie würden als fehlende Werte behandelt und auf irgendeine Weise unterstellt. Der Autoencoder würde dann versuchen, ihn zu rekonstruieren (möglicherweise sind mehrere Iterationen erforderlich). Die Frage ist genau nach der Machbarkeit dieser Idee. Ich werde bearbeiten, um zu klären.

— rcpinto

2

Ein solches Papier, das ich kenne und das ich implementiert habe, ist Semi-Supervised Learning mit Ladder Networks . Ich zitiere hier ihre Beschreibung des Modells:

Unser Ansatz folgt Valpola (2015), der ein Kontaktplannetzwerk vorschlug, bei dem die Hilfsaufgabe darin besteht, Repräsentationen auf allen Ebenen des Modells zu entstören. Die Modellstruktur ist ein Autoencoder mit Sprungverbindungen vom Codierer zum Decodierer, und die Lernaufgabe ähnelt der beim Entrauschen von Autoencodern, wird jedoch auf jede Schicht angewendet, nicht nur auf die Eingänge. Die Sprungverbindungen entlasten den Druck, Details in den höheren Schichten des Modells darzustellen, da der Decoder über die Sprungverbindungen alle vom Codierer verworfenen Details wiederherstellen kann.

Weitere Erläuterungen zur Architektur finden Sie unter Dekonstruieren der Ladder-Netzwerkarchitektur von Yoshua Bengio.

— AlexGuevara
quelle

1

Ich erinnere mich, dass ich Artikel über solche Systeme gelesen habe, wenn ich Sie richtig verstehe, mich aber im Moment nicht an die Titel erinnern kann.

Die Idee war, zeichenbasierte generative RNNs zu verwenden, sie auf Sequenzen zu trainieren, die wie "datadatadatadata | answer" codiert sind, und dann beim Eingeben von "otherdatadata |" dann würde es weiterhin eine Art erwartete Antwort generieren.

Soweit ich mich erinnere, war dies jedoch nur eine nette Illustration, denn wenn Sie die Daten haben, um etwas zu überwachen, werden Sie mit herkömmlichen Methoden bessere Ergebnisse erzielen.

— Peter ist
quelle