Wie wenige Trainingsbeispiele sind zu wenig, wenn ein neuronales Netzwerk trainiert wird?

Ich bin ein Anfänger, der versucht, mein erstes Projekt zusammenzustellen. Ich hatte ein Songklassifizierungsprojekt im Sinn, aber da ich manuell beschriften würde, könnte ich nur 1000 Songs oder 60 Stunden Musik vernünftigerweise zusammenstellen.

Ich würde mit mehreren Klassen klassifizieren, daher ist es möglich, dass eine Klasse nur 50-100 Songs im Trainingsset hat - das scheint zu wenig! Gibt es eine allgemeine Faustregel dafür, wie viele Daten benötigt werden, um ein neuronales Netzwerk zu trainieren, damit es funktioniert?

Edit: Ich habe überlegt, einen Vanille-LSTM zu verwenden. Die Eingabe-Features haben die Dimension 39 und die Ausgabedimension 6. Mein erster Versuch für die Dimension für ausgeblendete Layer ist 100.

neural-networks

— Arrey
quelle

Dies ist nicht wirklich zu verantworten, da nicht alle Aufgaben einfach sind und verschiedene Netzwerkarchitekturen und Hyperparameter-Auswahlen verschiedene Modelle auf unterschiedliche Weise verbessern / schädigen.

— Sycorax sagt Reinstate Monica

Sie müssen mindestens Ihre Netzwerkstruktur und die Anzahl der zu trainierenden Links angeben.

— gung - Wiedereinsetzung von Monica

Es hängt wirklich von Ihrer Datenmenge und der Netzwerkarchitektur ab. Als Faustregel habe ich gelesen (2), dass ein neuronales Netzwerk nach einigen Tausend Stichproben pro Klasse eine sehr gute Leistung erbringen sollte.

In der Praxis versuchen die Leute zu sehen. Es ist nicht selten, dass Studien mit einem Trainingssatz von weniger als 1000 Stichproben gute Ergebnisse zeigen.

Eine gute Möglichkeit, grob einzuschätzen, inwieweit es nützlich sein könnte, mehr Trainingsmuster zu haben, besteht darin, die Leistung des neuronalen Netzes in Abhängigkeit von der Größe des Trainingssatzes darzustellen, z. B. aus (1):

(1) Dernoncourt, Franck, Ji Young Lee, Ozlem Uzuner und Peter Szolovits. " Deidentifizierung von Patientennotizen mit wiederkehrenden neuronalen Netzen Deidentifizierung Netzen" arXiv preprint arXiv: 1606.03475 (2016).
(2) Cireşan, Dan C., Ueli Meier und Jürgen Schmidhuber. "Übertragen Sie das Lernen für lateinische und chinesische Schriftzeichen mit tiefen neuronalen Netzen." In der 2012 International Joint Conference on Neural Networks (IJCNN), S. 1-6. IEEE, 2012. https://scholar.google.com/scholar?cluster=7452424507909578812&hl=de&as_sdt=0,22 ; http://people.idsia.ch/~ciresan/data/ijcnn2012_v9.pdf :

Für Klassifizierungsaufgaben mit einigen tausend Proben pro Klasse ist der Nutzen einer (unbeaufsichtigten oder überwachten) Vorschulung nicht leicht nachzuweisen.

— Franck Dernoncourt
quelle