Statistiken und Big Data dropout

4

Wo soll ich Dropout-Layer in einem neuronalen Netzwerk platzieren?

Gibt es allgemeine Richtlinien zum Platzieren von Dropout-Layern in einem neuronalen Netzwerk?

65 neural-networks dropout

3

Werden Pool-Layer vor oder nach Dropout-Layern hinzugefügt?

Ich erstelle ein Convolutional Neural Network (CNN), bei dem auf eine Convolutional Layer eine Pooling Layer folgt und ich Dropout anwenden möchte, um die Überanpassung zu reduzieren. Ich habe das Gefühl, dass die Dropout-Schicht nach der Pooling-Schicht aufgetragen werden sollte, aber ich habe wirklich nichts, um das zu unterstützen. Wo …

35 deep-learning conv-neural-network dropout

2

Was ist der Unterschied zwischen Dropout und Drop Connect?

Was ist der Unterschied zwischen Dropout und Drop Connect? AFAIK, Dropout löscht zufällig versteckte Knoten während des Trainings, hält sie jedoch beim Testen und Dropconnect löscht Verbindungen. Aber ist das Löschen von Verbindungen nicht gleichbedeutend mit dem Löschen der versteckten Knoten? Sind die Knoten (oder Verbindungen) nicht nur eine Menge …

24 neural-networks dropout

2

Stärkung neuronaler Netze

Vor kurzem habe ich mich mit dem Erlernen von Boosting-Algorithmen wie Adaboost und Gradienten-Boost befasst, und ich kenne die Tatsache, dass der am häufigsten verwendete schwache Lernende Bäume sind. Ich möchte wirklich wissen, ob es in letzter Zeit einige erfolgreiche Beispiele (ich meine einige Artikel oder Artikel) für die Verwendung …

21 neural-networks deep-learning boosting ensemble dropout

4

Wie erklärt man die Regularisierung von Schulabbrechern in einfachen Worten?

Wie würden Sie vorgehen, wenn Sie eine halbe Seite haben, um den Ausfall zu erklären ? Welches sind die Gründe für diese Technik?

17 neural-networks deep-learning regularization dropout

2

Wie wird Spatial Dropout in 2D implementiert?

Dies geschieht unter Bezugnahme auf das Papier Effiziente Objektlokalisierung mithilfe von Faltungsnetzwerken. Soweit ich weiß, ist das Dropout in 2D implementiert. Nachdem der Code von Keras zur Implementierung des räumlichen 2D-Dropouts gelesen wurde, wird im Grunde eine zufällige binäre Maske mit der Form [batch_size, 1, 1, num_channels] implementiert. Was genau …

13 machine-learning deep-learning tensorflow dropout

1

Reichen frühes Stoppen und Abbrechen aus, um die überwiegende Mehrheit der tiefen neuronalen Netze in der Praxis zu regulieren?

Es gibt so viele Regularisierungstechniken, dass es nicht praktisch ist, alle Kombinationen auszuprobieren: l1 / l2 max norm aussteigen frühes Anhalten ... Es scheint, dass die meisten Menschen mit einer Kombination aus Ausfall und frühem Abbruch zufrieden sind: Gibt es Fälle, in denen die Verwendung anderer Techniken sinnvoll ist? Wenn …

9 neural-networks regularization dropout

3

Dropout: Skalieren der Aktivierung im Vergleich zum Invertieren des Dropouts

Bei der Anwendung von Dropout in künstlichen neuronalen Netzen muss die Tatsache kompensiert werden, dass zum Zeitpunkt des Trainings ein Teil der Neuronen deaktiviert wurde. Dazu gibt es zwei gemeinsame Strategien: Skalieren der Aktivierung zur Testzeit Umkehren des Aussetzers während der Trainingsphase Die beiden Strategien sind in den folgenden Folien …

9 neural-networks deep-learning dropout

1

Ausfall in der linearen Regression

Ich habe das Originalpapier über Dropout ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) gelesen und im Abschnitt über lineare Regression heißt es: E.R ∼ B e r n o u l l i ( p )[ ∥ y - ( R ∗ X.) w∥2]]E.R.∼B.ernÖullich(p)[‖y - -(R.∗X.)w‖2]]\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right] reduziert zu: ∥ y- …

9 regression dropout

1

Wie kann man eine Überanpassung im Faltungs-Neuronalen Netz identifizieren?

Ich verstehe, dass Dropout verwendet wird, um Überanpassungen im Netzwerk zu reduzieren. Dies ist eine Verallgemeinerungstechnik. Wie kann ich im Faltungsnetzwerk eine Überanpassung erkennen? Eine Situation, an die ich denken kann, ist, wenn die Trainingsgenauigkeit im Vergleich zur Test- oder Validierungsgenauigkeit zu hoch ist. In diesem Fall versucht das Modell, …

9 machine-learning overfitting conv-neural-network dropout

1

Alternativen zur Generalisierung von L1, L2 und Dropout

Ich habe das folgende Setup für ein Forschungsprojekt im Bereich Finanzen / Maschinelles Lernen an meiner Universität: Ich wende ein (Deep) Neural Network (MLP) mit der folgenden Struktur in Keras / Theano an, um überdurchschnittliche Aktien (Label 1) von unterdurchschnittlichen Aktien zu unterscheiden (Label 1). Etikett 0). Erstens verwende ich …

8 machine-learning neural-networks deep-learning regularization dropout

Als «dropout» getaggte Fragen