Dynamische Anpassung der NN-Architektur: Das Unnötige erfinden?

Ich beginne meine Doktorandenreise und das ultimative Ziel, das ich mir gesetzt habe, ist die Entwicklung von ANNs, die die Umgebung überwachen, in der sie arbeiten, und ihre Architektur dynamisch an das jeweilige Problem anpassen. Die offensichtliche Implikation ist die Zeitlichkeit der Daten: Wenn der Datensatz nicht kontinuierlich ist und sich im Laufe der Zeit nicht ändert, warum überhaupt anpassen?

Die große Frage ist: Ist es angesichts des jüngsten Aufstiegs des tiefen Lernens immer noch ein relevantes Thema? Haben FFNNs die Chance, eine Nische in Konzeptdriftproblemen zu finden?

Ich befürchte, den Thread mit zu vielen Fragen zu überladen, aber diese Frage ist nicht völlig unangebracht: Ich kenne RNNs, habe aber nur begrenzte (ok, keine oder rein theoretische) Erfahrungen mit ihnen. Ich glaube, dass die Anpassung der dynamischen Architektur ein relevantes Thema im Kontext von RNNs sein muss. Die Frage ist, wurde sie bereits beantwortet und werde ich das Rad neu erfinden?

PS Cross-posted zu MetaOptimize

machine-learning neural-networks

— Anna-Earwen
quelle

Wenn Sie "Architektur anpassen" sagen, meinen Sie damit die Parameter (Gewichte, Verzerrungen) oder die Aktualisierung der tatsächlichen Struktur des Netzwerks (versteckte Knoten, Aktivierungsfunktion, Konnektivität usw.)? In vielen Deep-Learning-Anwendungen ist das Endergebnis ein neuronales Feed-Forward-Netzwerk, nur eines mit Gewichten, die durch einen unbeaufsichtigten Prozess initialisiert wurden.

— Alt

@alto, ich beziehe mich auf die tatsächliche NN-Struktur - Anzahl der versteckten Einheiten und (möglicherweise) Schichten - ich bin sicher, dass sie auf verschiedenen Komplexitätsstufen implementiert werden kann. Ich habe das Gefühl, dass ich anfangen muss, tiefes Lernen zu lesen, um überhaupt irgendwohin zu gelangen.

— Anna-Earwen

@ anna-earwen interessantes Doktorandenthema, wie läuft es, noch Veröffentlichungen?

— Dikran Beuteltier

@Dikran Marsupial, ich werde bald zum IJCNN 2014 gehen, um darüber zu sprechen, wie und warum PSO keine hochdimensionalen NNs trainiert. Die Antwort lautet also ja und weiß: Ich habe einen großen Umweg vom ursprünglichen Forschungsvektor gemacht und frage mich, ob ich noch zu den einstellbaren Architekturen zurückkehren werde. Nur Zeit und empirische Ergebnisse werden es zeigen!

— Anna-Earwen

Ich werde im Verfahren darauf achten - zu verstehen, warum Dinge nicht funktionieren, ist etwas, von dem die Wissenschaft mehr braucht (und solide empirische Studien).

— Dikran Beuteltier

Antworten:

Neuronale Netze mit Kaskadenkorrelation passen ihre Struktur an, indem sie während des Trainings versteckte Knoten hinzufügen. Dies kann also ein Ausgangspunkt sein. Die meisten anderen Arbeiten, die ich gesehen habe und die automatisch die Anzahl der Schichten, die Anzahl der versteckten Knoten usw. eines neuronalen Netzwerks anpassen, verwenden evolutionäre Algorithmen.

Leider ist diese Arbeit nicht in meinem Bereich, daher kann ich keine bestimmten Artikel oder Referenzen empfehlen, um Ihnen den Einstieg zu erleichtern. Ich kann Ihnen sagen, dass ich keine Arbeit gesehen habe, die versucht, die Netzwerkstruktur und -parameter gleichzeitig innerhalb der Deep-Learning-Community zu optimieren. Tatsächlich basieren die meisten Deep-Learning-Architekturen darauf, gierig jeweils eine Schicht zu lernen, wodurch selbst das Online-Lernen von tiefen neuronalen Netzen zu einem eher unberührten Bereich wird (die Arbeit von Martens et al. Über die hessische freie Optimierung ist eine bemerkenswerte Ausnahme).

— Alt
quelle

Vielen Dank, Sie haben mir bereits genug Informationen gegeben, um nach Gold zu graben. :)

— Anna-Earwen

Ein weiterer Grund für die Entwicklung neuartiger Ansätze für konstruktive neuronale Netze (wie der erwähnte CC-Algorithmus @alto) liegt in Anwendungen außerhalb der Statistik . Insbesondere in der theoretischen Neurowissenschaft und Kognitionswissenschaft werden aufgrund einer metaphorischen Ähnlichkeit mit Entwicklung und Neurogenese häufig konstruktive neuronale Netze verwendet. Ein Beispiel für die starke Verwendung der Kaskadenkorrelation finden Sie in Veröffentlichungen von Thomas R. Shultz . Leider ist der Kaskadenkorrelationsansatz biologisch unrealistisch, und wenn Sie eine neurowissenschaftliche Biegung haben, sollten Sie überlegen, wie neue NNs mit einstellbarer Architektur als bessere Modelle für Entwicklung und / oder Neurogenese verwendet werden können.

— Artem Kaznatcheev
quelle

Danke, Artem! Tatsächlich bin ich mehr ein reiner Informatiker als alles andere, daher sind meine Kenntnisse der Neuro- und Kongnitivwissenschaft weniger als knapp. Klingt aber aufregend und da alle Straßen noch offen sind, könnte ich mich auch damit befassen - zumindest teilweise. Im Moment interessiere ich mich besonders für Anwendungen auf reale Engineering- und Datenanalyseprobleme, die für das Benchmarking funktionieren könnten.

— Anna-Earwen