Data Science regularization

4

Warum verbessert das Hinzufügen einer Dropout-Ebene die Tiefen- / Maschinenlernleistung, da durch das Dropout einige Neuronen aus dem Modell unterdrückt werden?

Wenn das Entfernen einiger Neuronen zu einem leistungsfähigeren Modell führt, warum nicht zunächst ein einfacheres neuronales Netzwerk mit weniger Schichten und weniger Neuronen verwenden? Warum am Anfang ein größeres, komplizierteres Modell bauen und Teile davon später unterdrücken?

12 machine-learning deep-learning keras regularization dropout

2

Warum L1-Regularisierung über L2 verwenden?

ich ein lineares Regressionsmodell mit einer Verlustfunktion durchführe, warum sollte ich anstelle der Regularisierung verwenden?L.1L.1L_1L.2L.2L_2 Ist es besser, eine Überanpassung zu verhindern? Ist es deterministisch (also immer eine einzigartige Lösung)? Ist es besser bei der Auswahl von Features (weil spärliche Modelle hergestellt werden)? Verteilt es die Gewichte auf die Merkmale?

10 linear-regression regularization

3

Wie mache ich ein Batch-Innenprodukt in Tensorflow?

Ich habe zwei Tensoren a:[batch_size, dim] b:[batch_size, dim]. Ich möchte inneres Produkt für jedes Paar in der Charge machen c:[batch_size, 1], wo erzeugen c[i,0]=a[i,:].T*b[i,:]. Wie?

10 tensorflow scikit-learn svm cross-validation feature-selection bayesian machine-learning decision-trees parameter-estimation neural-network convnet neural-network regularization visualization machine-learning similarity python pandas indexing r data-cleaning machine-learning predictive-modeling data-cleaning recommender-system python sequential-pattern-mining software-recommendation r visualization gaussian distribution machine-learning data-mining bigdata apache-hadoop predictive-modeling logistic-regression sampling machine-learning regression feature-selection mongodb neural-network inception machine-learning classification dataset databases logistic-regression deep-learning backpropagation classification data-mining multilabel-classification text-mining data-cleaning unsupervised-learning anomaly-detection python r python pandas

3

Auswahl der Regularisierungsmethode in neuronalen Netzen

Beim Training neuronaler Netze gibt es mindestens vier Möglichkeiten, das Netz zu regulieren: L1 Regularisierung L2 Regularisierung Aussteigen Chargennormalisierung Dazu kommen natürlich auch andere Dinge wie Gewichtsverteilung und Reduzierung der Anzahl der Verbindungen, die im engeren Sinne möglicherweise keine Regularisierung darstellen. Aber wie würde man wählen, welche dieser Regularisierungsmethoden verwendet …

9 neural-network regularization

2

Gibt es Studien, die Dropout im Vergleich zu anderen Regularisierungen untersuchen?

Gibt es Veröffentlichungen, die Unterschiede in den Regularisierungsmethoden für neuronale Netze zeigen, vorzugsweise in verschiedenen Domänen (oder zumindest in verschiedenen Datensätzen)? Ich frage, weil ich derzeit das Gefühl habe, dass die meisten Leute nur Aussetzer zur Regularisierung in der Bildverarbeitung verwenden. Ich möchte prüfen, ob es einen Grund gibt (nicht), …

9 neural-network computer-vision convnet regularization dropout

Als «regularization» getaggte Fragen