Statistiken und Big Data deep-learning

5

Was soll ich tun, wenn mein neuronales Netzwerk nicht lernt?

Ich trainiere ein neuronales Netzwerk, aber der Trainingsverlust nimmt nicht ab. Wie kann ich das beheben? Ich frage nicht nach Überanpassung oder Regularisierung. Ich frage, wie ich das Problem lösen soll, bei dem sich die Leistung meines Netzwerks im Trainingssatz nicht verbessert . Diese Frage ist absichtlich allgemein gehalten, so …

147 neural-networks deep-learning

6

Was sind die Vorteile von ReLU gegenüber der Sigmoidfunktion in tiefen neuronalen Netzen?

Der Stand der Technik der Nichtlinearität ist die Verwendung von gleichgerichteten Lineareinheiten (ReLU) anstelle der Sigmoidfunktion in einem tiefen neuronalen Netzwerk. Was sind die Vorteile? Ich weiß, dass das Trainieren eines Netzwerks bei Verwendung von ReLU schneller wäre, und es ist biologisch inspirierter. Was sind die anderen Vorteile? (Das heißt, …

141 machine-learning neural-networks deep-learning

4

Was ist der Unterschied zwischen neuronalen Faltungsnetzen, eingeschränkten Boltzmann-Maschinen und Autocodierern?

Kürzlich habe ich über tiefes Lernen gelesen und ich bin verwirrt über die Begriffe (oder sagen wir Technologien). Was ist der Unterschied zwischen Faltungsneurale Netze (CNN), Eingeschränkte Boltzmann-Maschinen (RBM) und Auto-Encoder?

123 neural-networks deep-learning conv-neural-network autoencoders rbm

10

Was ist der Unterschied zwischen einem neuronalen Netzwerk und einem tiefen neuronalen Netzwerk und warum funktionieren die tiefen besser?

Ich habe die Frage nicht genau in diesen Begriffen gesehen, und aus diesem Grund stelle ich eine neue Frage. Was mich interessiert, ist nicht die Definition eines neuronalen Netzwerks, sondern das Verstehen des tatsächlichen Unterschieds zu einem tiefen neuronalen Netzwerk. Für mehr Kontext: Ich weiß, was ein neuronales Netzwerk ist …

114 neural-networks deep-learning

6

Was bedeutet 1x1-Faltung in einem neuronalen Netzwerk?

Ich mache gerade das Udacity Deep Learning Tutorial. In Lektion 3 sprechen sie über eine 1x1-Faltung. Diese 1x1-Faltung wird im Google Inception-Modul verwendet. Ich habe Probleme zu verstehen, was eine 1x1-Faltung ist. Ich habe auch diesen Beitrag von Yann Lecun gesehen. Könnte mir das bitte jemand erklären?

106 neural-networks deep-learning convolution conv-neural-network

4

Warum sollten Sie Bilder normalisieren, indem Sie den Bildmittelwert des Datensatzes anstelle des aktuellen Bildmittelwerts beim Deep Learning subtrahieren?

Es gibt einige Variationen beim Normalisieren der Bilder, aber die meisten scheinen diese beiden Methoden zu verwenden: Subtrahiere den über alle Bilder berechneten Mittelwert pro Kanal (zB VGG_ILSVRC_16_layers ) Über alle Bilder berechnete Subtraktion nach Pixel / Kanal (z. B. CNN_S , siehe auch Caffes Referenznetzwerk ) Die natürliche Herangehensweise …

88 deep-learning image-processing

4

Warum werden neuronale Netze tiefer, aber nicht breiter?

In den letzten Jahren sind neuronale Faltungsnetze (oder vielleicht auch tiefe neuronale Netze im Allgemeinen) immer tiefer geworden, wobei die Netze auf dem neuesten Stand der Technik von 7 Schichten ( AlexNet ) auf 1000 Schichten ( Residual Nets) innerhalb von 4 Schichten übergegangen sind Jahre. Der Grund für die …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Warum interessieren sich Forscher für neuronale Netze für Epochen?

Eine Epoche in stochastischer Gradientenabnahme ist definiert als ein einzelner Durchgang durch die Daten. Für jedes SGD-Minibatch werden kkk Proben gezogen, der Gradient berechnet und die Parameter aktualisiert. In der Epocheneinstellung werden die Muster ersatzlos gezogen. Dies erscheint jedoch unnötig. Warum nicht jedes SGD-Minibatch so zeichnen, wie kkk zufällig aus …

69 neural-networks deep-learning gradient-descent

3

Was ist der Unterschied zwischen einem neuronalen Netzwerk und einem Deep-Believe-Netzwerk?

Ich habe den Eindruck, dass, wenn man sich auf ein "Deep Believe" -Netzwerk bezieht, dies im Grunde genommen ein neuronales Netzwerk ist, aber sehr groß. Ist das richtig oder impliziert ein tiefes Glaubensnetzwerk auch, dass der Algorithmus selbst anders ist (dh kein vorwärtskoppelndes neuronales Netz, aber vielleicht etwas mit Rückkopplungsschleifen)?

62 machine-learning neural-networks deep-learning deep-belief-networks

8

R Bibliotheken für tiefes Lernen

Ich habe mich gefragt, ob es da draußen gute R-Bibliotheken für tieflernende neuronale Netze gibt. Ich weiß, dass es die nnet, neuralnetund gibt RSNNS, aber keine davon scheint Deep-Learning-Methoden zu implementieren. Ich interessiere mich besonders für unbeaufsichtigtes, gefolgt von beaufsichtigtem Lernen und für die Verwendung von Abbrüchen, um eine Co-Anpassung …

56 r neural-networks deep-learning rbm deep-belief-networks

5

Deep Learning für die Vorhersage von Zeitreihen verwenden

Ich bin neu im Bereich Deep Learning und für mich war der erste Schritt, interessante Artikel von deeplearning.net zu lesen. In Artikeln über tiefes Lernen sprechen Hinton und andere hauptsächlich davon, es auf Bildprobleme anzuwenden. Kann jemand versuchen, mir zu antworten? Kann dies auf das Problem der Vorhersage von Zeitreihenwerten …

54 time-series machine-learning prediction deep-learning deep-belief-networks

5

Adam-Optimierer mit exponentiellem Zerfall

In den meisten Tensorflow-Codes, die ich gesehen habe, wird Adam Optimizer mit einer konstanten Lernrate von 1e-4(dh 0,0001) verwendet. Der Code sieht normalerweise so aus: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added …

53 neural-networks deep-learning gradient-descent tensorflow adam

3

Rekursive oder rekursive neuronale Netze: Was ist besser für NLP?

Es gibt wiederkehrende neuronale Netze und rekursive neuronale Netze. Beide werden normalerweise mit dem gleichen Akronym bezeichnet: RNN. Laut Wikipedia sind Recurrent NN in der Tat Recursive NN, aber ich verstehe die Erklärung nicht wirklich. Außerdem scheine ich nicht zu finden, was (mit Beispielen oder so) für die Verarbeitung natürlicher …

48 machine-learning neural-networks deep-learning natural-language

2

Warum verwenden Convolutional Neural Networks keine Support Vector Machine zur Klassifizierung?

In den letzten Jahren sind Convolutional Neural Networks (CNNs) zum Stand der Technik für die Objekterkennung in der Computersicht geworden. Typischerweise besteht ein CNN aus mehreren Faltungsschichten, gefolgt von zwei vollständig verbundenen Schichten. Eine Intuition dahinter ist, dass die Faltungsschichten eine bessere Darstellung der Eingabedaten lernen und die vollständig verbundenen …

46 machine-learning neural-networks svm deep-learning conv-neural-network

1

Verständnis „Fast alle lokalen Minima haben einen sehr ähnlichen Funktionswert wie das globale Optimum“

In einem kürzlich veröffentlichten Blog-Beitrag von Rong Ge hieß es: Es wird angenommen, dass für viele Probleme, einschließlich des Lernens tiefer Netze, fast alle lokalen Minima einen sehr ähnlichen Funktionswert aufweisen wie das globale Optimum, und daher ist es gut genug, ein lokales Minimum zu finden. Woher kommt dieser Glaube?

46 machine-learning neural-networks optimization deep-learning

Als «deep-learning» getaggte Fragen