Statistiken und Big Data tensorflow

5

Adam-Optimierer mit exponentiellem Zerfall

In den meisten Tensorflow-Codes, die ich gesehen habe, wird Adam Optimizer mit einer konstanten Lernrate von 1e-4(dh 0,0001) verwendet. Der Code sieht normalerweise so aus: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added …

53 neural-networks deep-learning gradient-descent tensorflow adam

1

Inwiefern unterscheidet sich softmax_cross_entropy_with_logits von softmax_cross_entropy_with_logits_v2?

Im Einzelnen wundere ich mich wohl über diese Aussage: Zukünftige Hauptversionen von TensorFlow ermöglichen es, dass Farbverläufe standardmäßig in die Beschriftungen fließen, die auf Backprop eingegeben werden. Welches wird angezeigt, wenn ich benutze tf.nn.softmax_cross_entropy_with_logits. In der gleichen Nachricht fordert es mich auf, einen Blick darauf zu werfen tf.nn.softmax_cross_entropy_with_logits_v2. Ich habe …

41 machine-learning supervised-learning tensorflow backpropagation

3

Maschinelles Lernen: Soll ich für binäre Vorhersagen eine kategoriale Kreuzentropie oder einen binären Kreuzentropieverlust verwenden?

Zunächst wurde mir klar, dass ich, wenn ich binäre Vorhersagen durchführen muss, mindestens zwei Klassen durch Ausführen einer One-Hot-Codierung erstellen muss. Ist das richtig? Gilt die binäre Kreuzentropie jedoch nur für Vorhersagen mit nur einer Klasse? Wenn ich einen kategorialen Cross-Entropy-Verlust verwenden würde, der normalerweise in den meisten Bibliotheken (wie …

36 machine-learning neural-networks loss-functions tensorflow cross-entropy

1

CNN-Architekturen für die Regression?

Ich habe an einem Regressionsproblem gearbeitet, bei dem die Eingabe ein Bild und die Bezeichnung ein kontinuierlicher Wert zwischen 80 und 350 ist. Bei den Bildern handelt es sich um einige Chemikalien, nachdem eine Reaktion stattgefunden hat. Die Farbe, die angezeigt wird, gibt die Konzentration einer anderen Chemikalie an, die …

32 regression machine-learning neural-networks conv-neural-network tensorflow

5

Grundlegendes zu LSTM-Einheiten im Vergleich zu Zellen

Ich habe LSTMs für eine Weile studiert. Ich verstehe auf hohem Niveau, wie alles funktioniert. Als ich sie jedoch mit Tensorflow implementieren wollte, bemerkte ich, dass BasicLSTMCell eine Reihe von Einheiten (dh num_units) benötigt. Aus dieser sehr gründlichen Erklärung von LSTMs habe ich herausgefunden, dass eine einzelne LSTM-Einheit eine der …

32 neural-networks terminology lstm rnn tensorflow

3

Erstellen eines Autoencoders in Tensorflow, um PCA zu übertreffen

Hinton und Salakhutdinov schlugen bei der Reduzierung der Dimensionalität von Daten mit neuronalen Netzen in Science 2006 eine nichtlineare PCA durch die Verwendung eines tiefen Autoencoders vor. Ich habe mehrmals versucht, einen PCA-Autoencoder mit Tensorflow zu bauen und zu trainieren, aber ich konnte nie ein besseres Ergebnis erzielen als mit …

31 pca python deep-learning tensorflow autoencoders

1

Schrittweises Beispiel für die automatische Differenzierung im Rückwärtsmodus

Ich bin mir nicht sicher, ob diese Frage hierher gehört, aber sie hängt eng mit den Gradientenmethoden in der Optimierung zusammen, die hier offenbar zum Thema gehören. Sie können auf jeden Fall migrieren, wenn Sie der Meinung sind, dass eine andere Community über bessere Fachkenntnisse in diesem Thema verfügt. Kurz …

27 optimization derivative tensorflow automatic-differentiation

2

Gewichtung des KLD-Verlusts im Vergleich zum Rekonstruktionsverlust bei variierenden automatischen Codierern

In fast allen Codebeispielen, die ich von einer VAE gesehen habe, sind die Verlustfunktionen wie folgt definiert (dies ist ein Tensorflow-Code, aber ich habe ähnliche für Theano, Fackel usw. gesehen. Es ist auch für ein Convnet, aber das ist auch nicht allzu relevant betrifft nur die Achsen, die die Summen …

26 machine-learning deep-learning tensorflow autoencoders variational-bayes

1

Wie interpretiert man Histogramme von TensorFlow in TensorBoard?

Ich bin kürzlich gelaufen und habe Tensor Flow gelernt und ein paar Histogramme bekommen, die ich nicht interpretieren konnte. Normalerweise stelle ich mir die Höhe der Balken als Frequenz (oder relative Häufigkeit / Anzahl) vor. Die Tatsache, dass es keine Balken wie in einem normalen Histogramm gibt und die Tatsache, …

23 machine-learning neural-networks conv-neural-network tensorflow

3

Relu vs Sigmoid vs Softmax als versteckte Schicht Neuronen

Ich habe mit einem einfachen neuronalen Netzwerk mit nur einer ausgeblendeten Ebene von Tensorflow gespielt und dann verschiedene Aktivierungen für die ausgeblendete Ebene ausprobiert: Relu Sigmoid Softmax (na ja, normalerweise wird Softmax in der letzten Schicht verwendet.) Relu bietet die beste Zuggenauigkeit und Validierungsgenauigkeit. Ich bin mir nicht sicher, wie …

22 machine-learning neural-networks conv-neural-network tensorflow sigmoid-curve

2

Was ist der Unterschied zwischen dem Varianzskalierungsinitialisierer und dem Xavier-Initialisierer?

In Tensorflows Implementierung von ResNet wird der Varianzskalierungsinitialisierer verwendet . Ich finde auch, dass der Xavier-Initialisierer beliebt ist. Ich habe nicht zu viel Erfahrung damit, was ist in der Praxis besser?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

5

Deep Learning: Woher weiß ich, welche Variablen wichtig sind?

Wie kann ich in Bezug auf die neuronale Netzsprache (y = Gewicht * x + Voreingenommenheit) wissen, welche Variablen wichtiger sind als andere? Ich habe ein neuronales Netz mit 10 Eingängen, 1 verborgene Schicht mit 20 Knoten und 1 Ausgangsschicht, die 1 Knoten hat. Ich weiß nicht genau, welche Eingabevariablen …

20 machine-learning neural-networks bias tensorflow theano

1

Verlustfunktion für Autoencoder

Ich experimentiere ein bisschen mit Autoencodern und habe mit Tensorflow ein Modell erstellt, das versucht, den MNIST-Datensatz zu rekonstruieren. Mein Netzwerk ist sehr einfach: X, e1, e2, d1, Y, wobei e1 und e2 Codierschichten sind, d2 und Y Decodierschichten sind (und Y die rekonstruierte Ausgabe ist). X hat 784 Einheiten, …

19 mse autoencoders tensorflow cross-entropy

2

Unterschied zwischen Abtastwerten, Zeitschritten und Merkmalen im neuronalen Netz

Ich gehe den folgenden Blog im neuronalen LSTM-Netzwerk durch: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Der Autor formt den Eingabevektor X als [Beispiele, Zeitschritte, Merkmale] für unterschiedliche Konfigurationen von LSTMs um. Der Autor schreibt In der Tat sind die Buchstabenfolgen Zeitschritte eines Merkmals und keine Zeitschritte einzelner Merkmale. Wir haben dem Netzwerk mehr Kontext gegeben, …

17 neural-networks lstm rnn tensorflow tensor

4

Ist es möglich, Bilder variabler Größe als Eingabe für ein Faltungsnetzwerk zu geben?

Können wir Bilder mit variabler Größe als Eingabe für die Objekterkennung in ein Faltungsnetzwerk geben? Wenn möglich, wie können wir das tun? Wenn wir jedoch versuchen, das Bild zuzuschneiden, verlieren wir einen Teil des Bildes, und wenn wir versuchen, die Größe zu ändern, geht die Klarheit des Bildes verloren. Bedeutet …

17 deep-learning tensorflow keras computer-vision object-detection

Als «tensorflow» getaggte Fragen