Data Science backpropagation

3

Dies ist eine kleine konzeptionelle Frage, die mich schon seit einiger Zeit beschäftigt: Wie können wir uns durch eine Max-Pooling-Schicht in einem neuronalen Netzwerk rückwärts ausbreiten? Ich bin auf Max-Pooling-Ebenen gestoßen, als ich dieses Tutorial für die nn-Bibliothek von Torch 7 durchgesehen habe . Die Bibliothek abstrahiert die Gradientenberechnung und …

62 neural-network backpropagation

3

Richtlinien zur Auswahl eines Optimierers für das Training neuronaler Netze

Ich benutze seit einiger Zeit neuronale Netze. Eine Sache, mit der ich ständig zu kämpfen habe, ist die Auswahl eines Optimierers zum Trainieren des Netzwerks (mit Backprop). Normalerweise beginne ich einfach mit einem (zB Standard-SGD) und versuche es dann ziemlich zufällig mit anderen. Ich habe mich gefragt, ob es einen …

18 neural-network optimization backpropagation

1

Deep Neural Network - Backpropogation mit ReLU

Ich habe einige Schwierigkeiten, mit ReLU die Rückübertragung abzuleiten, und ich habe einige Arbeit geleistet, bin mir aber nicht sicher, ob ich auf dem richtigen Weg bin. Kostenfunktion: wobei der reale Wert und ein vorhergesagter Wert ist. Nehmen Sie auch an, dass > 0 immer ist.y y x12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2yyyy^y^\hat yxxx …

17 neural-network backpropagation

2

Schiebefenster führt zu Überanpassung bei LSTM?

Wird mein LSTM überarbeitet, wenn ich es mit dem Schiebefenster trainiere? Warum scheinen die Leute es nicht für LSTMs zu verwenden? Für ein vereinfachtes Beispiel nehmen wir an, dass wir die Zeichenfolge vorhersagen müssen: A B C D E F G H I J K L M N O P …

15 lstm backpropagation mini-batch-gradient-descent

1

Rückvermehrung in CNN

Ich habe folgende CNN: Ich beginne mit einem Eingabebild der Größe 5x5 Dann wende ich die Faltung mit 2x2 Kernel und stride = 1 an, wodurch eine Feature-Map der Größe 4x4 erzeugt wird. Dann wende ich 2x2 Max-Pooling mit Stride = 2 an, wodurch die Feature-Map auf 2x2 verkleinert wird. …

14 machine-learning convnet backpropagation cnn kernel

1

Rückausbreitung durch max. Pooling-Schichten

Ich habe eine kleine Unterfrage zu dieser Frage . Ich verstehe, dass bei der Rückübertragung durch eine Max-Pooling-Schicht der Gradient so zurückgeleitet wird, dass das Neuron in der vorherigen Schicht, das als Max ausgewählt wurde, den gesamten Gradienten erhält. Was ich nicht 100% sicher bin, ist, wie der Gradient in …

13 machine-learning neural-network convnet backpropagation

3

Gradienten für Bias-Terme in der Backpropagation

Ich habe versucht, ein neuronales Netzwerk von Grund auf neu zu implementieren, um die Mathematik dahinter zu verstehen. Mein Problem hängt vollständig mit der Rückausbreitung zusammen, wenn wir eine Ableitung in Bezug auf die Verzerrung vornehmen, und ich habe alle Gleichungen abgeleitet, die bei der Rückausbreitung verwendet werden. Jetzt stimmt …

13 python neural-network backpropagation

2

Frage zur Voreingenommenheit in Faltungsnetzwerken

Ich versuche herauszufinden, wie viele Gewichte und Vorurteile für CNN benötigt werden. Angenommen, ich habe ein (3, 32, 32) -Bild und möchte einen (32, 5, 5) -Filter anwenden. Für jede Feature-Map habe ich 5x5 Gewichte, daher sollte ich 3 x (5x5) x 32 Parameter haben. Jetzt muss ich die Voreingenommenheit …

11 deep-learning convnet backpropagation

2

Wie funktioniert die Backpropagation über die Max-Pooling-Ebene, wenn ein Stapel ausgeführt wird?

Nehmen wir an, wir verwenden eine Stapelgröße von 100 Proben zum Lernen. In jeder Charge wird also das Gewicht jedes Neurons (und der Verzerrung usw.) aktualisiert, indem das Minus der Lernrate * der durchschnittliche Fehlerwert, den wir unter Verwendung der 100 Stichproben * gefunden haben, die Ableitung der Fehlerfunktion in …

10 neural-network deep-learning backpropagation

3

Wie mache ich ein Batch-Innenprodukt in Tensorflow?

Ich habe zwei Tensoren a:[batch_size, dim] b:[batch_size, dim]. Ich möchte inneres Produkt für jedes Paar in der Charge machen c:[batch_size, 1], wo erzeugen c[i,0]=a[i,:].T*b[i,:]. Wie?

10 tensorflow scikit-learn svm cross-validation feature-selection bayesian machine-learning decision-trees parameter-estimation neural-network convnet neural-network regularization visualization machine-learning similarity python pandas indexing r data-cleaning machine-learning predictive-modeling data-cleaning recommender-system python sequential-pattern-mining software-recommendation r visualization gaussian distribution machine-learning data-mining bigdata apache-hadoop predictive-modeling logistic-regression sampling machine-learning regression feature-selection mongodb neural-network inception machine-learning classification dataset databases logistic-regression deep-learning backpropagation classification data-mining multilabel-classification text-mining data-cleaning unsupervised-learning anomaly-detection python r python pandas

2

Synthetische Gradienten - was ist der praktische Nutzen?

Ich kann zwei Motive sehen, um synthetische Gradienten in RNN zu verwenden: Um das Training zu beschleunigen, korrigieren Sie jede Schicht sofort mit dem vorhergesagten Gradienten Längere Sequenzen lernen können Ich sehe Probleme mit beiden. Bitte beachten Sie, dass ich synthetische Farbverläufe sehr mag und sie gerne implementieren würde. Aber …

8 backpropagation

1

So wenden Sie den Gradienten von Softmax in Backprop an

Ich habe kürzlich eine Hausaufgabe gemacht, bei der ich ein Modell für die 10-stellige MNIST-Klassifizierung lernen musste. Die HW hatte einen Gerüstcode und ich sollte im Kontext dieses Codes arbeiten. Meine Hausaufgaben funktionieren / bestehen Tests, aber jetzt versuche ich, alles von Grund auf neu zu machen (mein eigenes nn-Framework, …

8 backpropagation

3

Erstellen eines neuronalen Netzes für die xor-Funktion

Es ist eine bekannte Tatsache, dass ein 1-Schicht-Netzwerk die xor-Funktion nicht vorhersagen kann, da es nicht linear trennbar ist. Ich habe versucht, ein 2-Layer-Netzwerk mit der logistischen Sigmoid-Funktion und Backprop zu erstellen, um xor vorherzusagen. Mein Netzwerk hat 2 Neuronen (und eine Vorspannung) auf der Eingangsschicht, 2 Neuronen und 1 …

8 neural-network backpropagation

1

Ableiten von Backpropagation-Gleichungen "nativ" in Tensorform

Das Bild zeigt eine typische Ebene irgendwo in einem Feed-Forward-Netzwerk: a(k)iai(k)a_i^{(k)} ist der Aktivierungswert des -Neurons in der -Schicht.ithithi^{th}kthkthk^{th} W(k)ijWij(k)W_{ij}^{(k)} ist das Gewicht, das das ithithi^{th} Neuron in der kthkthk^{th} Schicht mit dem jt hjthj^{th} Neuron in der ( k + 1)t h(k+1)th(k+1)^{th} Schicht verbindet. z( k + 1 )jzj(k+1)z_j^{(k+1)} …

7 backpropagation theory linear-algebra

1

Backpropagation: Wäre bei Methoden zweiter Ordnung die ReLU-Ableitung 0? und wie wirkt es sich auf das Training aus?

ReLU ist eine Aktivierungsfunktion, definiert als wobei a = Wx + b .h=max(0,a)h=max(0,a)h = \max(0, a)a=Wx+ba=Wx+ba = Wx + b Normalerweise trainieren wir neuronale Netze mit Methoden erster Ordnung wie SGD, Adam, RMSprop, Adadelta oder Adagrad. Die Rückausbreitung in Verfahren erster Ordnung erfordert eine Ableitung erster Ordnung. Daher wird xxx …

7 neural-network optimization backpropagation

Als «backpropagation» getaggte Fragen