Programmierung deep-learning

9

Wie initialisiere ich Gewichte in PyTorch?

Wie initialisiere ich die Gewichte und Verzerrungen (z. B. mit He- oder Xavier-Initialisierung) in einem Netzwerk in PyTorch?

102 python neural-network deep-learning pytorch

2

Warum müssen wir in PyTorch zero_grad () aufrufen?

Die Methode zero_grad()muss während des Trainings aufgerufen werden. Die Dokumentation ist jedoch nicht sehr hilfreich | zero_grad(self) | Sets gradients of all model parameters to zero. Warum müssen wir diese Methode aufrufen?

102 python neural-network deep-learning pytorch gradient-descent

5

Warum „packen“ wir die Sequenzen in Pytorch?

Ich habe versucht zu replizieren, wie man das Packen für Sequenzeingaben variabler Länge für rnn verwendet, aber ich denke, ich muss zuerst verstehen, warum wir die Sequenz "packen" müssen. Ich verstehe, warum wir sie "auffüllen" müssen, aber warum ist "Packen" (durch pack_padded_sequence) notwendig? Jede Erklärung auf hoher Ebene wäre willkommen!

98 deep-learning pytorch recurrent-neural-network tensor zero-padding

1

Welche Parameter sollten zum vorzeitigen Stoppen verwendet werden?

Ich trainiere ein neuronales Netzwerk für mein Projekt mit Keras. Keras hat eine Funktion zum frühen Stoppen bereitgestellt. Darf ich wissen, welche Parameter beachtet werden sollten, um eine Überanpassung meines neuronalen Netzwerks durch frühzeitiges Anhalten zu vermeiden?

97 python keras deep-learning conv-neural-network

6

Wie wende ich Gradienten-Clipping in TensorFlow an?

Betrachtet man den Beispielcode . Ich würde gerne wissen, wie man Gradientenbeschneidungen in diesem Netzwerk auf dem RNN anwendet, wo die Möglichkeit besteht, dass Gradienten explodieren. tf.clip_by_value(t, clip_value_min, clip_value_max, name=None) Dies ist ein Beispiel, das verwendet werden könnte, aber wo führe ich das ein? In der Def von RNN lstm_cell …

96 python machine-learning tensorflow deep-learning lstm

6

Verwenden einer vorab trainierten Worteinbettung (word2vec oder Glove) in TensorFlow

Ich habe kürzlich eine interessante Implementierung für die Klassifizierung von Faltungstexten überprüft . Alle von mir überprüften TensorFlow-Codes verwenden jedoch zufällige (nicht vorab trainierte) Einbettungsvektoren wie die folgenden: with tf.device('/cpu:0'), tf.name_scope("embedding"): W = tf.Variable( tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0), name="W") self.embedded_chars = tf.nn.embedding_lookup(W, self.input_x) self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1) Weiß jemand, wie …

95 python numpy tensorflow deep-learning

10

Wie füge ich Regularisierungen in TensorFlow hinzu?

Ich habe in vielen verfügbaren neuronalen Netzwerkcodes, die mit TensorFlow implementiert wurden, festgestellt, dass Regularisierungsterme häufig durch manuelles Hinzufügen eines zusätzlichen Terms zum Verlustwert implementiert werden. Meine Fragen sind: Gibt es eine elegantere oder empfohlene Art der Regularisierung als die manuelle? Ich finde auch, dass get_variabledas ein Argument hat regularizer. …

94 python neural-network tensorflow deep-learning

6

PyTorch - zusammenhängend ()

Ich habe dieses Beispiel eines LSTM-Sprachmodells auf Github (Link) durchgearbeitet . Was es im Allgemeinen macht, ist mir ziemlich klar. Aber ich habe immer noch Schwierigkeiten zu verstehen, was das Aufrufen contiguous()bewirkt, was im Code mehrmals vorkommt. Beispielsweise werden in Zeile 74/75 der Codeeingabe und Zielsequenzen des LSTM erstellt. Daten …

90 neural-network deep-learning lstm pytorch contiguous

5

Was ist die Verwendung von verbose in Keras bei der Validierung des Modells?

Ich verwende das LSTM-Modell zum ersten Mal. Hier ist mein Modell: opt = Adam(0.002) inp = Input(...) print(inp) x = Embedding(....)(inp) x = LSTM(...)(x) x = BatchNormalization()(x) pred = Dense(5,activation='softmax')(x) model = Model(inp,pred) model.compile(....) idx = np.random.permutation(X_train.shape[0]) model.fit(X_train[idx], y_train[idx], nb_epoch=1, batch_size=128, verbose=1) Was nützt es wortreich beim Trainieren des Modells?

89 python deep-learning keras verbose

4

Was bedeutet global_step in Tensorflow?

In diesem Tutorial-Code von der TensorFlow-Website, könnte jemand helfen zu erklären, was global_stepbedeutet? Ich habe auf der Tensorflow-Website geschrieben, dass ein globaler Schritt verwendet wird, um Trainingsschritte zu zählen , aber ich verstehe nicht ganz, was genau das bedeutet. Was bedeutet die Zahl 0 beim Einrichten global_step? def training(loss,learning_rate): tf.summary.scalar('loss',loss) …

88 tensorflow deep-learning

2

Wie formatiere ich die Bilddaten für das Training / die Vorhersage, wenn die Bilder unterschiedlich groß sind?

Ich versuche mein Modell zu trainieren, das Bilder klassifiziert. Das Problem, das ich habe, ist, dass sie unterschiedliche Größen haben. Wie soll ich meine Bilder / oder Modellarchitektur formatieren?

87 deep-learning

5

Keras, wie kann ich vorhersagen, nachdem ich ein Modell trainiert habe?

Ich spiele mit dem reuters-Beispieldatensatz und er läuft einwandfrei (mein Modell ist trainiert). Ich habe gelesen, wie ein Modell gespeichert wird, damit ich es später laden und wieder verwenden kann. Aber wie verwende ich dieses gespeicherte Modell, um einen neuen Text vorherzusagen? Muss ich verwenden models.predict()? Muss ich diesen Text …

87 python theano deep-learning keras

5

Häufige Ursachen für Nans während des Trainings

Ich habe festgestellt, dass ein häufiges Auftreten während des Trainings NANeingeführt wird. Oft scheint es durch Gewichte in inneren Produkt- / vollständig verbundenen oder Faltungsschichten, die explodieren, eingeführt zu werden. Tritt dies auf, weil die Gradientenberechnung explodiert? Oder liegt es an der Gewichtsinitialisierung (wenn ja, warum hat die Gewichtsinitialisierung diesen …

85 machine-learning neural-network deep-learning caffe gradient-descent

1

Welche Rolle spielt die TimeDistributed-Ebene in Keras?

Ich versuche zu verstehen, was der TimeDistributed-Wrapper in Keras macht. Ich verstehe, dass TimeDistributed "eine Ebene auf jede zeitliche Schicht einer Eingabe anwendet". Aber ich habe einige Experimente durchgeführt und die Ergebnisse erhalten, die ich nicht verstehen kann. Kurz gesagt, in Verbindung mit der LSTM-Schicht erzielen TimeDistributed und Just Dense …

82 python machine-learning keras neural-network deep-learning

4

Wie entpacke ich eine pkl-Datei?

Ich habe eine pkl-Datei aus dem MNIST-Datensatz, die aus handgeschriebenen Ziffernbildern besteht. Ich möchte mir jedes dieser Ziffernbilder ansehen, daher muss ich die pkl-Datei entpacken, außer ich kann nicht herausfinden, wie. Gibt es eine Möglichkeit, pkl-Dateien zu entpacken / entpacken?

79 python pickle deep-learning mnist

Als «deep-learning» getaggte Fragen