Data Science neural-network

10

Ich habe kürzlich Fully Convolutional Networks for Semantic Segmentation von Jonathan Long, Evan Shelhamer und Trevor Darrell gelesen. Ich verstehe nicht, was "Dekonvolutionsschichten" tun / wie sie funktionieren. Der relevante Teil ist 3.3. Upsampling ist eine rückwärts gerichtete Faltung Eine andere Möglichkeit, Grobausgänge mit dichten Pixeln zu verbinden, ist die …

188 neural-network convnet convolution

17

Beste Python-Bibliothek für neuronale Netze

Ich verwende neuronale Netze, um verschiedene Probleme des maschinellen Lernens zu lösen. Ich benutze Python und Pybrain, aber diese Bibliothek ist fast eingestellt. Gibt es andere gute Alternativen in Python?

130 machine-learning python neural-network

5

Was ist das "sterbende ReLU" -Problem in neuronalen Netzen?

In Bezug auf die Stanford-Kursnotizen zu Faltungs-Neuronalen Netzen für die visuelle Erkennung heißt es in einem Absatz: "Leider können ReLU-Einheiten während des Trainings zerbrechlich sein und" sterben ". Beispielsweise kann ein großer Gradient, der durch ein ReLU-Neuron fließt, dazu führen, dass die Gewichte so aktualisiert werden, dass das Neuron an …

119 machine-learning neural-network deep-learning

6

Wann wird GRU über LSTM verwendet?

Der Hauptunterschied zwischen einer GRU und einem LSTM besteht darin, dass eine GRU zwei Gatter hat ( Reset- und Update- Gatter), während eine LSTM drei Gatter hat (nämlich Eingabe- , Ausgabe- und Vergessen- Gatter). Warum setzen wir GRU ein, wenn wir über das LSTM-Modell eine deutlich bessere Kontrolle über das …

95 neural-network deep-learning

8

Lernrate wählen

Ich arbeite derzeit an der Implementierung von Stochastic Gradient Descent SGDfür neuronale Netze unter Verwendung von Backpropagation, und obwohl ich den Zweck verstehe, habe ich einige Fragen zur Auswahl von Werten für die Lernrate. Bezieht sich die Lernrate auf die Form des Fehlergradienten, da sie die Abstiegsrate vorgibt? Wenn ja, …

85 machine-learning neural-network deep-learning optimization hyperparameter

15

Wie visualisieren Sie neuronale Netzwerkarchitekturen?

Wenn man eine Arbeit schreibt / eine Präsentation über ein Thema macht, das sich mit neuronalen Netzwerken befasst, visualisiert man normalerweise die Netzwerkarchitektur. Was sind gute / einfache Möglichkeiten, um gängige Architekturen automatisch zu visualisieren?

79 machine-learning neural-network deep-learning visualization

5

Wie zeichne Deep Learning Netzwerkarchitektur Diagramme?

Ich habe mein Modell gebaut. Jetzt möchte ich das Netzwerkarchitekturdiagramm für meine Forschungsarbeit zeichnen. Beispiel ist unten gezeigt:

78 machine-learning neural-network deep-learning svm software-recommendation

3

Backprop durch Max-Pooling-Ebenen?

Dies ist eine kleine konzeptionelle Frage, die mich schon seit einiger Zeit beschäftigt: Wie können wir uns durch eine Max-Pooling-Schicht in einem neuronalen Netzwerk rückwärts ausbreiten? Ich bin auf Max-Pooling-Ebenen gestoßen, als ich dieses Tutorial für die nn-Bibliothek von Torch 7 durchgesehen habe . Die Bibliothek abstrahiert die Gradientenberechnung und …

62 neural-network backpropagation

4

Wie sind 1x1-Faltungen mit einer vollständig verbundenen Ebene identisch?

Ich habe kürzlich den Kommentar von Yan LeCuns zu 1x1-Windungen gelesen : In Convolutional Nets gibt es keine "vollständig verbundenen Schichten". Es gibt nur Faltungsschichten mit 1x1-Faltungskernen und einer vollständigen Verbindungstabelle. Es ist eine zu selten verstandene Tatsache, dass ConvNets keine Eingabe mit fester Größe benötigen. Sie können sie auf …

55 neural-network convnet

3

RNN vs CNN auf hohem Niveau

Ich habe über die Recurrent Neural Networks (RNN) und ihre Varietäten sowie Convolutional Neural Networks (CNN) und ihre Varietäten nachgedacht. Wären diese beiden Punkte fair zu sagen: Verwenden Sie CNNs, um eine Komponente (z. B. ein Bild) in Unterkomponenten (z. B. ein Objekt in einem Bild, z. B. den Umriss …

53 machine-learning neural-network beginner

2

Wann wird die normale Initialisierung (He oder Glorot) über die gleichmäßige Initialisierung angewendet? Und welche Auswirkungen hat die Batch-Normalisierung?

Ich wusste, dass das Residual Network (ResNet) die normale Initialisierung populär machte. In ResNet wird die normale He-Initialisierung verwendet , während die erste Ebene die einheitliche He-Initialisierung verwendet. Ich habe das ResNet-Papier und das "Delving Deep into Rectifiers" -Papier (He-Initialisierungspapier) durchgesehen, aber ich habe keine Erwähnung für normales Init vs. …

51 neural-network deep-learning normalization

3

Wie bekämpfe ich Underfitting in einem tiefen neuronalen Netz?

Als ich mit künstlichen neuronalen Netzen (NN) anfing, dachte ich, ich müsste die Überanpassung als Hauptproblem bekämpfen. In der Praxis kann ich nicht einmal meinen NN dazu bringen, die 20% Fehlerrate zu überschreiten. Ich kann nicht einmal meine Punktzahl auf zufälligen Wald schlagen! Ich suche einige sehr allgemeine oder nicht …

50 neural-network deep-learning

4

Neuronale Netze: Welche Kostenfunktion soll verwendet werden?

Ich benutze TensorFlow für Experimente hauptsächlich mit neuronalen Netzen. Obwohl ich bereits einige Experimente durchgeführt habe (XOR-Problem, MNIST, einiges an Regression, ...), habe ich Schwierigkeiten, die "richtige" Kostenfunktion für bestimmte Probleme zu wählen, da ich insgesamt als Anfänger gelten könnte. Bevor ich zu TensorFlow kam, habe ich einige vollständig verbundene …

48 machine-learning python neural-network statistics tensorflow

1

Was ist der Unterschied zwischen LeakyReLU und PReLU?

f( x ) = max ( x , α x ) mit α ∈ ( 0 , 1 )f(x)=max(x,αx) with α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras hat jedoch beide Funktionen in den Dokumenten . Undichte ReLU Quelle von LeakyReLU : return K.relu(inputs, …

42 neural-network

4

Hinzufügen von Funktionen zum Zeitreihenmodell LSTM

Ich habe ein wenig über LSTMs und ihre Verwendung für Zeitreihen nachgelesen und es war interessant, aber gleichzeitig schwierig. Eine Sache, die ich bisher nicht verstanden habe, ist der Ansatz, zusätzliche Funktionen zu einer Liste von Zeitreihenfunktionen hinzuzufügen. Angenommen, Sie haben Ihren Datensatz wie folgt eingerichtet: t-3, t-2, t-1, Ausgabe …

42 machine-learning neural-network deep-learning time-series

Als «neural-network» getaggte Fragen