Statistiken und Big Data deep-learning

2

Was ist der Unterschied zwischen dem Varianzskalierungsinitialisierer und dem Xavier-Initialisierer?

In Tensorflows Implementierung von ResNet wird der Varianzskalierungsinitialisierer verwendet . Ich finde auch, dass der Xavier-Initialisierer beliebt ist. Ich habe nicht zu viel Erfahrung damit, was ist in der Praxis besser?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

2

Wo und warum glänzt Deep Learning?

Bei all den Mediengesprächen und dem Hype um Deep Learning in diesen Tagen habe ich ein paar grundlegende Informationen darüber gelesen. Ich habe gerade festgestellt, dass es nur eine andere Methode des maschinellen Lernens ist, Muster aus Daten zu lernen. Aber meine Frage ist: Woher kommt und warum diese Methode …

20 machine-learning data-mining deep-learning deep-belief-networks

2

Warum sollten Sie in neuronalen Netzen Gradientenmethoden anstelle anderer Metaheuristiken verwenden?

Warum werden beim Training tiefer und flacher neuronaler Netze im Gegensatz zu anderen Metaheuristiken häufig Gradientenmethoden (z. B. Gradientenabstieg, Nesterov, Newton-Raphson) verwendet? Mit Metaheuristik meine ich Methoden wie simuliertes Tempern, Optimierung von Ameisenkolonien usw., die entwickelt wurden, um zu vermeiden, dass sie in einem lokalen Minimum hängen bleiben.

20 neural-networks optimization deep-learning gradient-descent backpropagation

2

Wie und warum verwendet die Batch-Normalisierung gleitende Mittelwerte, um die Genauigkeit des Modells während des Trainings zu verfolgen?

Ich habe das Batch-Normalisierungspapier ( 1) gelesen und nicht verstanden, dass es notwendig ist, gleitende Durchschnitte zu verwenden, um die Genauigkeit des Modells zu verfolgen, und selbst wenn ich akzeptiere, dass dies das Richtige ist, verstehe ich es nicht was sie genau tun. Nach meinem Verständnis (was ich falsch finde) …

20 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

3

Wie nutze ich das frühe Stoppen richtig für das Training eines tiefen neuronalen Netzwerks?

Ich habe ein tiefes neuronales Netzwerkmodell und muss es auf meinem Datensatz trainieren, der aus ungefähr 100.000 Beispielen besteht. Meine Validierungsdaten enthalten ungefähr 1000 Beispiele. Da es einige Zeit dauert, um jedes Beispiel zu trainieren (ungefähr 0,5 Sekunden für jedes Beispiel) und um eine Überanpassung zu vermeiden, möchte ich ein …

19 neural-networks deep-learning

3

Bedeutung des Bias-Knotens in neuronalen Netzen

Ich bin gespannt, wie wichtig der Bias-Knoten für die Wirksamkeit moderner neuronaler Netze ist. Ich kann leicht verstehen, dass es in einem flachen Netzwerk mit nur wenigen Eingabevariablen wichtig sein kann. Moderne neuronale Netze wie das Deep Learning verfügen jedoch häufig über eine große Anzahl von Eingabevariablen, um zu entscheiden, …

19 neural-networks deep-learning bias-node

2

Was machen die vollständig verbundenen Schichten in CNNs?

Ich verstehe die Faltungs- und Bündelungsschichten, kann aber den Grund für eine vollständig verbundene Schicht in CNNs nicht sehen. Warum ist die vorherige Ebene nicht direkt mit der Ausgabeebene verbunden?

19 neural-networks deep-learning conv-neural-network

4

Wann sollte ich einen variablen Autoencoder anstelle eines Autoencoders verwenden?

Ich verstehe die Grundstruktur von variierendem Autoencoder und normalem (deterministischem) Autoencoder und die Mathematik dahinter, aber wann und warum würde ich eine Art von Autoencoder der anderen vorziehen? Alles, woran ich denken kann, ist die vorherige Verteilung latenter Variablen von variationalem Autoencoder, die es uns ermöglicht, die latenten Variablen abzutasten …

19 deep-learning autoencoders variational-bayes

2

Warum ist in neuronalen Faltungsnetzen ein maximales Pooling erforderlich?

Die meisten gängigen neuronalen Faltungsnetze enthalten Pooling-Schichten, um die Dimensionen der Ausgabe-Features zu reduzieren. Warum konnte ich nicht dasselbe erreichen, indem ich einfach den Schritt der Faltungsschicht beschleunigte? Was macht die Pooling-Schicht notwendig?

18 deep-learning conv-neural-network pooling

3

Ikonenhafte (Spielzeug-) Modelle neuronaler Netze

Meine Physikprofessoren an der Graduiertenschule sowie der Nobelpreisträger Feynman präsentierten immer das, was sie Spielzeugmodelle nannten, um grundlegende Konzepte und Methoden der Physik wie den harmonischen Oszillator, das Pendel, den Kreisel und die Black Box zu veranschaulichen. Welche Spielzeugmodelle werden verwendet, um die grundlegenden Konzepte und Methoden zu veranschaulichen, die …

18 machine-learning neural-networks deep-learning

2

Deep Learning vs. Entscheidungsbäume und Methoden fördern

Ich suche nach Artikeln oder Texten, die vergleichen und diskutieren (entweder empirisch oder theoretisch): Boosting- und Entscheidungsbaum- Algorithmen wie Random Forests oder AdaBoost und GentleBoost werden auf Entscheidungsbäume angewendet. mit Deep Learning Methoden wie Restricted Boltzmann Machines , Hierarchical Temporal Memory , Convolutional Neural Networks , etc. Kennt jemand einen …

18 machine-learning deep-learning cart rbm adaboost

2

Werden beim Deep Learning Zeilensuchmethoden eingesetzt? Warum nicht?

Viele Online-Tutorials befassen sich mit dem Gradientenabstieg und fast alle verwenden eine feste Schrittgröße (Lernrate ). Warum wird die Zeilensuche nicht verwendet (z. B. Backtracking-Zeilensuche oder exakte Zeilensuche)?αα\alpha

18 machine-learning neural-networks optimization deep-learning

2

Sollten Trainingsmuster, die zufällig für Mini-Batch-Trainingsnetze gezogen wurden, ersatzlos gezogen werden?

Wir definieren eine Epoche, in der alle verfügbaren Trainingsmuster durchlaufen wurden, und die Mini-Batch-Größe als die Anzahl der Muster, über die wir den Durchschnitt bilden, um die Aktualisierungen der Gewichte / Vorspannungen zu finden, die zum Abstieg des Gradienten erforderlich sind. Meine Frage ist, ob wir aus den Trainingsbeispielen ersatzlos …

18 machine-learning neural-networks optimization deep-learning

5

Was ist der Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'?

Gibt es einen Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'? Ich weiß nichts über den Kontext, aber ich verstehe, dass wir einen Datensatz 1 haben und darauf trainieren, woraufhin wir einen weiteren Datensatz 2 haben, für den wir unser Modell anpassen möchten, ohne von Grund auf neu zu trainieren, für …

18 deep-learning terminology conv-neural-network transfer-learning domain-adaptation

4

Wie erklärt man die Regularisierung von Schulabbrechern in einfachen Worten?

Wie würden Sie vorgehen, wenn Sie eine halbe Seite haben, um den Ausfall zu erklären ? Welches sind die Gründe für diese Technik?

17 neural-networks deep-learning regularization dropout

Als «deep-learning» getaggte Fragen