Data Science deep-learning

5

Was ist das "sterbende ReLU" -Problem in neuronalen Netzen?

In Bezug auf die Stanford-Kursnotizen zu Faltungs-Neuronalen Netzen für die visuelle Erkennung heißt es in einem Absatz: "Leider können ReLU-Einheiten während des Trainings zerbrechlich sein und" sterben ". Beispielsweise kann ein großer Gradient, der durch ein ReLU-Neuron fließt, dazu führen, dass die Gewichte so aktualisiert werden, dass das Neuron an …

119 machine-learning neural-network deep-learning

6

Wann wird GRU über LSTM verwendet?

Der Hauptunterschied zwischen einer GRU und einem LSTM besteht darin, dass eine GRU zwei Gatter hat ( Reset- und Update- Gatter), während eine LSTM drei Gatter hat (nämlich Eingabe- , Ausgabe- und Vergessen- Gatter). Warum setzen wir GRU ein, wenn wir über das LSTM-Modell eine deutlich bessere Kontrolle über das …

95 neural-network deep-learning

8

Lernrate wählen

Ich arbeite derzeit an der Implementierung von Stochastic Gradient Descent SGDfür neuronale Netze unter Verwendung von Backpropagation, und obwohl ich den Zweck verstehe, habe ich einige Fragen zur Auswahl von Werten für die Lernrate. Bezieht sich die Lernrate auf die Form des Fehlergradienten, da sie die Abstiegsrate vorgibt? Wenn ja, …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Wie visualisieren Sie neuronale Netzwerkarchitekturen?

Wenn man eine Arbeit schreibt / eine Präsentation über ein Thema macht, das sich mit neuronalen Netzwerken befasst, visualisiert man normalerweise die Netzwerkarchitektur. Was sind gute / einfache Möglichkeiten, um gängige Architekturen automatisch zu visualisieren?

79 machine-learning neural-network deep-learning visualization

5

Wie zeichne Deep Learning Netzwerkarchitektur Diagramme?

Ich habe mein Modell gebaut. Jetzt möchte ich das Netzwerkarchitekturdiagramm für meine Forschungsarbeit zeichnen. Beispiel ist unten gezeigt:

78 machine-learning neural-network deep-learning svm software-recommendation

5

Zeitreihenvorhersage mit ARIMA gegen LSTM

Das Problem, mit dem ich mich beschäftige, ist die Vorhersage von Zeitreihenwerten. Ich betrachte jeweils eine Zeitreihe und möchte anhand von beispielsweise 15% der Eingabedaten deren zukünftige Werte vorhersagen. Bisher bin ich auf zwei Modelle gestoßen: LSTM (Long Short Term Memory; eine Klasse wiederkehrender neuronaler Netze) ARIMA Ich habe beide …

64 time-series deep-learning rnn prediction

2

Wann wird die normale Initialisierung (He oder Glorot) über die gleichmäßige Initialisierung angewendet? Und welche Auswirkungen hat die Batch-Normalisierung?

Ich wusste, dass das Residual Network (ResNet) die normale Initialisierung populär machte. In ResNet wird die normale He-Initialisierung verwendet , während die erste Ebene die einheitliche He-Initialisierung verwendet. Ich habe das ResNet-Papier und das "Delving Deep into Rectifiers" -Papier (He-Initialisierungspapier) durchgesehen, aber ich habe keine Erwähnung für normales Init vs. …

51 neural-network deep-learning normalization

3

Wie bekämpfe ich Underfitting in einem tiefen neuronalen Netz?

Als ich mit künstlichen neuronalen Netzen (NN) anfing, dachte ich, ich müsste die Überanpassung als Hauptproblem bekämpfen. In der Praxis kann ich nicht einmal meinen NN dazu bringen, die 20% Fehlerrate zu überschreiten. Ich kann nicht einmal meine Punktzahl auf zufälligen Wald schlagen! Ich suche einige sehr allgemeine oder nicht …

50 neural-network deep-learning

3

Anzahl der Parameter in einem LSTM-Modell

Wie viele Parameter hat ein einzelner gestapelter LSTM? Die Anzahl der Parameter legt eine Untergrenze für die Anzahl der erforderlichen Trainingsbeispiele fest und beeinflusst auch die Trainingszeit. Daher ist es für Trainingsmodelle mit LSTMs hilfreich, die Anzahl der Parameter zu kennen.

43 deep-learning rnn

4

Hinzufügen von Funktionen zum Zeitreihenmodell LSTM

Ich habe ein wenig über LSTMs und ihre Verwendung für Zeitreihen nachgelesen und es war interessant, aber gleichzeitig schwierig. Eine Sache, die ich bisher nicht verstanden habe, ist der Ansatz, zusätzliche Funktionen zu einer Liste von Zeitreihenfunktionen hinzuzufügen. Angenommen, Sie haben Ihren Datensatz wie folgt eingerichtet: t-3, t-2, t-1, Ausgabe …

42 machine-learning neural-network deep-learning time-series

4

Warum ist die Mini-Batch-Größe besser als ein einzelner „Batch“ mit allen Trainingsdaten?

Ich habe oft gelesen, dass bei Deep-Learning-Modellen die übliche Praxis darin besteht, Mini-Batches (im Allgemeinen kleine, 32/64) über mehrere Trainingsepochen anzuwenden. Ich kann den Grund dafür nicht wirklich ergründen. Wenn ich mich nicht irre, gibt die Stapelgröße die Anzahl der Trainingsinstanzen an, die das Modell während einer Trainingsiteration gesehen hat. …

40 machine-learning deep-learning

3

Hat batch_size in Keras irgendwelche Auswirkungen auf die Qualität der Ergebnisse?

Ich bin dabei, ein großes LSTM-Netzwerk mit 2-3 Millionen Artikeln zu trainieren und habe Probleme mit Speicherfehlern (ich verwende AWS EC2 g2x2large). Ich fand heraus, dass eine Lösung darin besteht, die batch_size. Ich bin mir jedoch nicht sicher, ob dieser Parameter nur mit Problemen der Speichereffizienz zusammenhängt oder ob er …

38 deep-learning keras

3

Was ist der Unterschied zwischen "äquivariant zur Übersetzung" und "invariant zur Übersetzung"?

Ich habe Probleme, den Unterschied zwischen der Äquivariante zur Übersetzung und der Invariante zur Übersetzung zu verstehen . In dem Buch Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville und Y. Bengio), findet man in den Faltungsnetzwerken: [...] die besondere Form der Parameterfreigabe bewirkt, dass die Ebene eine …

38 neural-network deep-learning convolution

13

Datenwissenschaftsbezogene lustige Zitate

Es war üblich, dass Benutzer verschiedener Communities lustige Dinge über ihre Felder zitierten. Es kann Spaß machen, Ihre lustigen Dinge über maschinelles Lernen, Deep Learning, Data Science und die Dinge, mit denen Sie jeden Tag konfrontiert sind, zu teilen!

35 machine-learning neural-network deep-learning

6

Erklärung der entropieübergreifenden Verluste

Angenommen, ich erstelle eine NN für die Klassifizierung. Die letzte Schicht ist eine dichte Schicht mit Softmax-Aktivierung. Ich habe fünf verschiedene Klassen zu klassifizieren. Angenommen, für ein einzelnes Trainingsbeispiel true labelist das, [1 0 0 0 0]während die Vorhersagen sind [0.1 0.5 0.1 0.1 0.2]. Wie würde ich den Kreuzentropieverlust …

35 machine-learning deep-learning

Als «deep-learning» getaggte Fragen