Statistiken und Big Data neural-networks

1

Der Trainingsverlust steigt und fällt. Was ist los?

Mein Trainingsverlust geht runter und dann wieder rauf. Es ist sehr komisch. Der Kreuzvalidierungsverlust verfolgt den Trainingsverlust. Was ist los? Ich habe zwei gestapelte LSTMS wie folgt (auf Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) model.compile(loss='binary_crossentropy', optimizer='adadelta') Ich trainiere es für 100 Epochen: …

26 machine-learning neural-networks loss-functions lstm

4

Neuronales Netz mit Sprungschichtverbindungen

Ich interessiere mich für die Regression mit neuronalen Netzen. Neuronale Netze mit Null versteckten Knoten und Sprungschichtverbindungen sind lineare Modelle. Was ist mit den gleichen neuronalen Netzen, aber mit versteckten Knoten? Ich frage mich, welche Rolle die Sprungschichtverbindungen spielen würden. Intuitiv würde ich sagen, dass das endgültige Modell eine Summe …

26 regression machine-learning neural-networks deep-learning

8

Warum ist es so wichtig, prinzipielle und mathematische Theorien für maschinelles Lernen zu haben?

Ich habe mich gefragt, warum es so wichtig ist, prinzipielles / theoretisches maschinelles Lernen zu haben. Aus einer persönlichen Perspektive als Mensch kann ich verstehen, warum prinzipielles maschinelles Lernen wichtig wäre: Menschen mögen es zu verstehen, was sie tun, wir finden Schönheit und Befriedigung zu verstehen. Aus theoretischer Sicht macht …

25 machine-learning neural-networks conv-neural-network theory

5

Was ist der Unterschied zwischen Faltungs-Neuronalen Netzen und Deep Learning?

Ich möchte Deep Learning in meinem Projekt einsetzen. Ich habe ein paar Artikel durchgesehen und mir ist die Frage gekommen: Gibt es einen Unterschied zwischen dem neuronalen Faltungsnetz und dem tiefen Lernen? Sind diese Dinge gleich oder haben sie größere Unterschiede und was ist besser?

25 machine-learning neural-networks deep-learning terminology conv-neural-network

6

Wie erkennt das neuronale Netzwerk Bilder?

Ich versuche zu lernen, wie das Neuronale Netz bei der Bilderkennung funktioniert. Ich habe einige Beispiele gesehen und bin noch verwirrter geworden. Im Beispiel der Buchstabenerkennung eines 20x20-Bildes werden die Werte jedes Pixels zur Eingabeebene. Also 400 Neuronen. Dann eine versteckte Schicht von Neuronen und 26 Ausgangsneuronen. Dann trainiere das …

25 machine-learning neural-networks image-processing

10

Warum nicht einfach die neuronalen Netze entleeren und tiefes Lernen? [geschlossen]

Geschlossen . Diese Frage ist meinungsbasiert . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie mit Fakten und Zitaten beantwortet werden kann, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 2 Jahren . Grundlegendes Problem mit Deep Learning und neuronalen Netzen im …

25 machine-learning neural-networks svm deep-learning

6

Zeigt der Gradient in Stochastic Gradient Descent (SGD) bei konvexen Problemen immer auf den globalen Extremwert?

Bei einer konvexen Kostenfunktion, bei der SGD für die Optimierung verwendet wird, haben wir zu einem bestimmten Zeitpunkt während des Optimierungsprozesses einen Gradienten (Vektor). Meine Frage ist, angesichts des Punktes auf der Konvexen, zeigt der Gradient nur in die Richtung, in die die Funktion am schnellsten zunimmt / abnimmt, oder …

25 neural-networks optimization gradient-descent sgd convex

3

Was sind die Vorteile des Stapelns mehrerer LSTMs?

Was sind die Vorteile, warum sollte man mehrere nebeneinander gestapelte LSTMs in einem tiefen Netzwerk verwenden? Ich verwende einen LSTM, um eine Folge von Eingaben als eine einzige Eingabe darzustellen. Also, wenn ich diese einzige Darstellung habe - warum sollte ich sie noch einmal durchgehen? Ich frage dies, weil ich …

25 classification neural-networks deep-learning lstm rnn

1

Warum werden gleichgerichtete Lineareinheiten als nichtlinear betrachtet?

Warum werden Aktivierungsfunktionen von gleichgerichteten Lineareinheiten (ReLU) als nicht linear betrachtet? f( x ) = max ( 0 , x )f(x)=max(0,x) f(x) = \max(0,x) Sie sind linear, wenn der Eingang positiv ist, und nach meinem Verständnis sind nichtlineare Aktivierungen ein Muss, um die repräsentative Kraft tiefer Netzwerke freizuschalten. Andernfalls könnte …

25 neural-networks deep-learning

3

Was ist der Grund, warum der Adam Optimizer für den Wert seiner Hyperparameter als robust angesehen wird?

Ich habe über den Adam-Optimierer für Deep Learning gelesen und bin in dem neuen Buch Deep Learning von Bengio, Goodfellow und Courville auf folgenden Satz gestoßen: Adam wird allgemein als ziemlich robust gegenüber der Auswahl von Hyperparametern angesehen, obwohl die Lernrate manchmal von der vorgeschlagenen Standardeinstellung geändert werden muss. Wenn …

24 neural-networks deep-learning optimization hyperparameter adam

4

Was können wir aus künstlichen neuronalen Netzen über das menschliche Gehirn lernen?

Ich weiß, dass meine Frage / mein Titel nicht sehr spezifisch ist, deshalb werde ich versuchen, es zu klären: Künstliche neuronale Netze sind relativ streng aufgebaut. Natürlich werden sie im Allgemeinen von der Biologie beeinflusst und versuchen, ein mathematisches Modell realer neuronaler Netze zu erstellen, aber unser Verständnis realer neuronaler …

24 machine-learning neural-networks bioinformatics artificial-intelligence neuroscience

2

Autoencoder können keine sinnvollen Funktionen lernen

Ich habe 50.000 Bilder wie diese beiden: Sie zeigen Diagramme von Daten. Ich wollte Funktionen aus diesen Bildern extrahieren, also verwendete ich den von Theano (deeplearning.net) bereitgestellten Autoencoder-Code. Das Problem ist, dass diese Autoencoder anscheinend keine Funktionen kennen. Ich habe RBM ausprobiert und es ist das gleiche. MNIST-Dataset bietet nette …

24 machine-learning neural-networks feature-construction rbm autoencoders

2

Wie bekommt Krizhevskys '12 CNN 253.440 Neuronen in der ersten Schicht?

In Alex Krizhevsky et al. Imagenet-Klassifikation mit tiefen neuronalen Faltungsnetzen zählt sie die Anzahl der Neuronen in jeder Schicht auf (siehe Abbildung unten). Die Eingabe des Netzwerks ist 150.528-dimensional und die Anzahl der Neuronen in den verbleibenden Schichten des Netzwerks wird durch 253.440–186.624–64.896–64.896–43.264– 4096–4096–1000 angegeben. Eine 3D-Ansicht Die Anzahl der …

24 neural-networks deep-learning conv-neural-network

2

Was ist der Unterschied zwischen Dropout und Drop Connect?

Was ist der Unterschied zwischen Dropout und Drop Connect? AFAIK, Dropout löscht zufällig versteckte Knoten während des Trainings, hält sie jedoch beim Testen und Dropconnect löscht Verbindungen. Aber ist das Löschen von Verbindungen nicht gleichbedeutend mit dem Löschen der versteckten Knoten? Sind die Knoten (oder Verbindungen) nicht nur eine Menge …

24 neural-networks dropout

2

Wie initialisiere ich die Elemente der Filtermatrix?

Ich versuche, Faltungs-Neuronale Netze besser zu verstehen, indem ich Python-Code schreibe, der nicht von Bibliotheken (wie Convnet oder TensorFlow) abhängt Durchführen einer Faltung an einem Bild. Ich versuche, die Implementierungsdetails im Schritt zwischen Feature-Maps in der folgenden Abbildung zu verstehen, in der die Layer eines CNN dargestellt sind. Nach diesem …

24 machine-learning neural-networks deep-learning feature-construction conv-neural-network

Als «neural-networks» getaggte Fragen