Statistiken und Big Data neural-networks

3

Multivariate lineare Regression gegen neuronales Netz?

In einigen Fällen scheint es möglich zu sein, ähnliche Ergebnisse wie bei einem neuronalen Netzwerk mit einer multivariaten linearen Regression zu erzielen, und die multivariate lineare Regression ist superschnell und einfach. Unter welchen Umständen können neuronale Netze bessere Ergebnisse liefern als multivariate lineare Regression?

54 regression multiple-regression neural-networks

5

Adam-Optimierer mit exponentiellem Zerfall

In den meisten Tensorflow-Codes, die ich gesehen habe, wird Adam Optimizer mit einer konstanten Lernrate von 1e-4(dh 0,0001) verwendet. Der Code sieht normalerweise so aus: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added …

53 neural-networks deep-learning gradient-descent tensorflow adam

5

Neuronale Netze vs. Support Vector Machines: Sind die zweiten definitiv überlegen?

Viele Autoren von Artikeln, die ich gelesen habe, bejahen, dass SVMs eine überlegene Technik sind, um ihrem Regressions- / Klassifizierungsproblem zu begegnen. Oft besagt der Vergleich das SVMs anstelle von NNs Haben Sie eine starke Grundtheorie Erreichen Sie das globale Optimum durch quadratische Programmierung Haben Sie keine Probleme bei der …

52 machine-learning svm neural-networks

2

Wie kann ein künstliches neuronales Netzwerk ANN für unbeaufsichtigtes Clustering verwendet werden?

Ich verstehe, wie artificial neural network (ANN)man mit Backpropogation überwacht trainieren kann, um die Anpassung zu verbessern, indem man den Fehler in den Vorhersagen verringert. Ich habe gehört, dass ein ANN für unbeaufsichtigtes Lernen verwendet werden kann, aber wie kann dies ohne irgendeine Kostenfunktion durchgeführt werden, um die Optimierungsstufen zu …

52 clustering neural-networks unsupervised-learning self-organizing-maps

1

Wie groß sollte die Chargengröße für den stochastischen Gradientenabstieg sein?

Ich verstehe, dass der stochastische Gradientenabstieg verwendet werden kann, um ein neuronales Netzwerk mithilfe von Backpropagation zu optimieren, indem jede Iteration mit einer anderen Stichprobe des Trainingsdatensatzes aktualisiert wird. Wie groß soll die Losgröße sein?

49 machine-learning neural-networks gradient-descent backpropagation

3

Warum ist die logistische Regression ein linearer Klassifikator?

Wie kann die logistische Regression als linearer Klassifikator betrachtet werden, da wir die logistische Funktion verwenden, um eine lineare Kombination der Eingabe in eine nicht lineare Ausgabe umzuwandeln? Lineare Regression ist wie ein neuronales Netzwerk ohne verborgene Schicht. Warum werden neuronale Netzwerke als nichtlineare Klassifikatoren betrachtet und logistische Regression ist …

49 logistic classification neural-networks

3

Rekursive oder rekursive neuronale Netze: Was ist besser für NLP?

Es gibt wiederkehrende neuronale Netze und rekursive neuronale Netze. Beide werden normalerweise mit dem gleichen Akronym bezeichnet: RNN. Laut Wikipedia sind Recurrent NN in der Tat Recursive NN, aber ich verstehe die Erklärung nicht wirklich. Außerdem scheine ich nicht zu finden, was (mit Beispielen oder so) für die Verarbeitung natürlicher …

48 machine-learning neural-networks deep-learning natural-language

2

Warum verwenden Convolutional Neural Networks keine Support Vector Machine zur Klassifizierung?

In den letzten Jahren sind Convolutional Neural Networks (CNNs) zum Stand der Technik für die Objekterkennung in der Computersicht geworden. Typischerweise besteht ein CNN aus mehreren Faltungsschichten, gefolgt von zwei vollständig verbundenen Schichten. Eine Intuition dahinter ist, dass die Faltungsschichten eine bessere Darstellung der Eingabedaten lernen und die vollständig verbundenen …

46 machine-learning neural-networks svm deep-learning conv-neural-network

1

Verständnis „Fast alle lokalen Minima haben einen sehr ähnlichen Funktionswert wie das globale Optimum“

In einem kürzlich veröffentlichten Blog-Beitrag von Rong Ge hieß es: Es wird angenommen, dass für viele Probleme, einschließlich des Lernens tiefer Netze, fast alle lokalen Minima einen sehr ähnlichen Funktionswert aufweisen wie das globale Optimum, und daher ist es gut genug, ein lokales Minimum zu finden. Woher kommt dieser Glaube?

46 machine-learning neural-networks optimization deep-learning

5

Was sind Alternativen für Gradient Descent?

Gradient Descent hat das Problem, in Local Minima hängen zu bleiben. Wir müssen Exponentialzeiten des Gradientenabfalls ausführen, um globale Minima zu finden. Kann mir jemand Alternativen zum Gradientenabstieg, wie sie beim Lernen neuronaler Netze angewendet werden, zusammen mit ihren Vor- und Nachteilen nennen?

46 machine-learning svm neural-networks

1

Unterschied zwischen GradientDescentOptimizer und AdamOptimizer (TensorFlow)?

Ich habe ein einfaches MLP in TensorFlow geschrieben, das ein XOR-Gate modelliert . So für: input_data = [[0., 0.], [0., 1.], [1., 0.], [1., 1.]] es sollte folgendes erzeugen: output_data = [[0.], [1.], [1.], [0.]] Das Netzwerk hat eine Eingangsschicht, eine versteckte Schicht und eine Ausgangsschicht mit jeweils 2, 5 …

45 machine-learning neural-networks error gradient-descent supervised-learning

1

Wie funktioniert die Adam-Methode des stochastischen Gradientenabstiegs?

Ich bin mit grundlegenden Algorithmen für die Gradientenabsenkung zum Trainieren neuronaler Netze vertraut. Ich habe die Zeitung gelesen, in der Adam vorgeschlagen wird: ADAM: EINE METHODE ZUR STOCHASTISCHEN OPTIMIERUNG . Obwohl ich (zumindest) definitiv einige Einsichten habe , scheint mir das Papier insgesamt zu hoch zu sein. Beispielsweise ist eine …

45 neural-networks optimization gradient-descent adam

4

Wie werden Kernel auf Feature-Maps angewendet, um andere Feature-Maps zu erstellen?

Ich versuche den Faltungsteil von neuronalen Faltungsnetzen zu verstehen. Betrachten Sie die folgende Abbildung: Ich habe keine Probleme, die erste Faltungsschicht zu verstehen, in der wir 4 verschiedene Kernel (mit der Größe ) haben, die wir mit dem Eingabebild falten, um 4 Merkmalskarten zu erhalten.k×kk×kk \times k Was ich nicht …

44 machine-learning neural-networks deep-learning conv-neural-network

4

Welche Aktivierungsfunktion für die Ausgabeebene?

Während die Auswahl der Aktivierungsfunktionen für die verborgene Ebene ziemlich klar ist (meistens Sigmoid oder Tanh), frage ich mich, wie ich mich für die Aktivierungsfunktion für die Ausgabeebene entscheiden soll. Häufige Auswahlmöglichkeiten sind lineare Funktionen, Sigmoidfunktionen und Softmaxfunktionen. Wann sollte ich welche verwenden?

44 neural-networks

7

Neuronale Netzreferenzen (Lehrbücher, Online-Kurse) für Anfänger

Ich möchte Neuronale Netze lernen. Ich bin ein Computerlinguist. Ich kenne statistische Methoden des maschinellen Lernens und kann in Python programmieren. Ich möchte mit seinen Konzepten beginnen und ein oder zwei populäre Modelle kennen, die aus Sicht der Computerlinguistik nützlich sein können. Ich habe im Internet nachgeschlagen und ein paar …

43 neural-networks deep-learning references natural-language computer-vision

Als «neural-networks» getaggte Fragen