Gibt es Veröffentlichungen, die Unterschiede in den Regularisierungsmethoden für neuronale Netze zeigen, vorzugsweise in verschiedenen Domänen (oder zumindest in verschiedenen Datensätzen)?
Ich frage, weil ich derzeit das Gefühl habe, dass die meisten Leute nur Aussetzer zur Regularisierung in der Bildverarbeitung verwenden. Ich möchte prüfen, ob es einen Grund gibt (nicht), verschiedene Arten der Regularisierung zu verwenden.
Antworten:
Zwei Punkte:
Jedenfalls bin ich ein wenig skeptisch gegenüber empirischen Studien über neuronale Netze. Es gibt einfach zu viele Hyperparameter, um sie fein abzustimmen, von der Topologie des Netzwerks über das Verfahren zur Optimierung des Gradientenabfalls bis hin zu Aktivierungsfunktionen und was auch immer Sie testen, wie die Regularisierung. Dann ist das Ganze stochastisch und normalerweise sind die Leistungssteigerungen so gering, dass Sie kaum statistische Tests auf Unterschiede durchführen können. Viele Autoren machen sich nicht einmal die Mühe, statistische Tests durchzuführen. Sie geben nur eine durchschnittliche Kreuzvalidierung an und erklären, dass jedes Modell mit dem höchsten Dezimalpunktgewinn der Gewinner ist.
Möglicherweise finden Sie eine Studie zur Förderung von Schulabbrechern, der nur eine andere Studie zur Förderung der Regularisierung widerspricht.
Ich denke, es läuft alles auf ästhetische Vorlieben hinaus. Dropout IMHO klingt biologisch plausibler als Regularisierung. Es scheint auch einfacher zu kalibrieren. Ich persönlich bevorzuge es, wenn ich ein Framework wie TensorFlow verwende. Wenn wir unser eigenes neuronales Netzwerk verwenden müssen, was wir häufig tun, werden wir die Regularisierung verwenden, da die Implementierung einfacher war.
Bestimmt. Das Papier vom Schöpfer selbst, Geoffrey Hinton. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf lesen Sie es. Aber ich ermutige Sie, den Unterschied zu erkennen, indem Sie ihn selbst implementieren.