Statistiken und Big Data deep-learning

6

Was sind die Hauptsätze beim maschinellen (Tiefen-) Lernen?

Al Rahimi hat kürzlich in NIPS 2017 einen sehr provokanten Vortrag gehalten, in dem er das aktuelle maschinelle Lernen mit Alchemie vergleicht. Eine seiner Behauptungen ist, dass wir zu theoretischen Entwicklungen zurückkehren müssen, um einfache Theoreme zu haben, die grundlegende Ergebnisse beweisen. Als er das sagte, fing ich an, nach …

45 machine-learning deep-learning theory

4

Wie werden Kernel auf Feature-Maps angewendet, um andere Feature-Maps zu erstellen?

Ich versuche den Faltungsteil von neuronalen Faltungsnetzen zu verstehen. Betrachten Sie die folgende Abbildung: Ich habe keine Probleme, die erste Faltungsschicht zu verstehen, in der wir 4 verschiedene Kernel (mit der Größe ) haben, die wir mit dem Eingabebild falten, um 4 Merkmalskarten zu erhalten.k×kk×kk \times k Was ich nicht …

44 machine-learning neural-networks deep-learning conv-neural-network

7

Neuronale Netzreferenzen (Lehrbücher, Online-Kurse) für Anfänger

Ich möchte Neuronale Netze lernen. Ich bin ein Computerlinguist. Ich kenne statistische Methoden des maschinellen Lernens und kann in Python programmieren. Ich möchte mit seinen Konzepten beginnen und ein oder zwei populäre Modelle kennen, die aus Sicht der Computerlinguistik nützlich sein können. Ich habe im Internet nachgeschlagen und ein paar …

43 neural-networks deep-learning references natural-language computer-vision

6

Bedeutung der lokalen Antwortnormalisierung in CNN

Ich habe festgestellt, dass Imagenet und andere große CNN lokale Antwortnormalisierungsschichten verwenden. Ich kann jedoch nicht so viele Informationen über sie finden. Wie wichtig sind sie und wann sollten sie angewendet werden? Von http://caffe.berkeleyvision.org/tutorial/layers.html#data-layers : Die lokale Antwortnormalisierungsschicht führt eine Art "laterale Hemmung" durch, indem sie über lokale Eingaberegionen normalisiert. …

41 deep-learning convolution conv-neural-network

4

Wie löst die geradlinige Aktivierungsfunktion das Problem des verschwindenden Gradienten in neuronalen Netzen?

Ich fand eine gleichgerichtete Lineareinheit (ReLU), die an mehreren Stellen als Lösung für das Problem des verschwindenden Gradienten für neuronale Netze gelobt wurde . Das heißt, man verwendet max (0, x) als Aktivierungsfunktion. Wenn die Aktivierung positiv ist, ist dies offensichtlich besser als beispielsweise die Sigma-Aktivierungsfunktion, da ihre Herleitung immer …

40 machine-learning neural-networks deep-learning gradient-descent

3

Richtlinie zur Auswahl der Hyperparameter in Deep Learning

Ich bin auf der Suche nach einem Artikel, der dabei helfen kann, eine Richtlinie zur Auswahl der Hyperparameter einer Deep-Architecture wie gestapelte Auto-Encoder oder Deep-Believe-Netzwerke zu erstellen. Es gibt viele Hyperparameter und ich bin sehr verwirrt, wie ich sie auswählen soll. Auch die Kreuzvalidierung ist keine Option, da das Training …

38 machine-learning deep-learning deep-belief-networks hyperparameter

7

Warum löst die Regularisierung nicht den Datenhunger von Deep Neural Nets?

Ein Problem, das ich im Zusammenhang mit neuronalen Netzen im Allgemeinen und Deep Neural Networks im Besonderen häufig gesehen habe, ist, dass sie "datenhungrig" sind - das heißt, dass sie nur dann eine gute Leistung erbringen, wenn wir einen großen Datenbestand haben mit dem man das netzwerk trainiert. Meines Wissens …

37 neural-networks deep-learning regularization

4

Was soll ich tun, wenn sich mein neuronales Netzwerk nicht gut verallgemeinert?

Ich trainiere ein neuronales Netzwerk und der Trainingsverlust nimmt ab, der Validierungsverlust jedoch nicht, oder er sinkt viel weniger als erwartet, basierend auf Referenzen oder Experimenten mit sehr ähnlichen Architekturen und Daten. Wie kann ich das beheben? Was die Frage betrifft Was soll ich tun, wenn mein neuronales Netzwerk nicht …

37 neural-networks deep-learning

4

Unterschied zwischen "Kernel" und "Filter" in CNN

Was ist der Unterschied zwischen den Begriffen "Kernel" und "Filter" im Kontext von Faltungsnetzwerken?

37 neural-networks terminology deep-learning conv-neural-network

3

Werden Pool-Layer vor oder nach Dropout-Layern hinzugefügt?

Ich erstelle ein Convolutional Neural Network (CNN), bei dem auf eine Convolutional Layer eine Pooling Layer folgt und ich Dropout anwenden möchte, um die Überanpassung zu reduzieren. Ich habe das Gefühl, dass die Dropout-Schicht nach der Pooling-Schicht aufgetragen werden sollte, aber ich habe wirklich nichts, um das zu unterstützen. Wo …

35 deep-learning conv-neural-network dropout

4

Was sind die Unterschiede zwischen Sparse Coding und Autoencoder?

Sparse Coding ist definiert als Lernen eines überkompletten Satzes von Basisvektoren, um Eingangsvektoren darzustellen (<- warum wollen wir das?). Was sind die Unterschiede zwischen Sparse Coding und Autoencoder? Wann werden wir Sparse Coding und Autoencoder verwenden?

35 machine-learning neural-networks unsupervised-learning deep-learning autoencoders

3

Pre-Training in tiefen Faltungs neuronalen Netzwerk?

Hat jemand Literatur über Pre-Training in Deep Convolutional Neural Network gesehen? Ich habe nur unbeaufsichtigtes Pre-Training in Autoencoder oder eingeschränkten Boltzman-Maschinen gesehen.

33 machine-learning neural-networks deep-learning conv-neural-network autoencoders

2

Warum gibt es für Schach, ähnlich wie AlphaGo, keine Deep-Enforcement-Lern-Engines?

Computer sind seit langem in der Lage, Schach mit einer "Brute-Force" -Technik zu spielen, bis zu einer bestimmten Tiefe zu suchen und dann die Position zu bewerten. Der AlphaGo-Computer verwendet jedoch nur eine ANN, um die Positionen auszuwerten (er führt meines Wissens keine Tiefensuche durch). Ist es möglich, eine Schachengine …

32 neural-networks deep-learning reinforcement-learning games

3

Erstellen eines Autoencoders in Tensorflow, um PCA zu übertreffen

Hinton und Salakhutdinov schlugen bei der Reduzierung der Dimensionalität von Daten mit neuronalen Netzen in Science 2006 eine nichtlineare PCA durch die Verwendung eines tiefen Autoencoders vor. Ich habe mehrmals versucht, einen PCA-Autoencoder mit Tensorflow zu bauen und zu trainieren, aber ich konnte nie ein besseres Ergebnis erzielen als mit …

31 pca python deep-learning tensorflow autoencoders

2

Was ist der Unterschied zwischen „Deep Learning“ und mehrstufiger / hierarchischer Modellierung?

Ist "Deep Learning" nur ein weiterer Begriff für mehrstufige / hierarchische Modellierung? Ich kenne die letztere viel besser als die erstere, aber soweit ich das beurteilen kann, besteht der Hauptunterschied nicht in ihrer Definition, sondern darin, wie sie in ihrem Anwendungsbereich verwendet und bewertet werden. Es sieht so aus, als …

31 machine-learning multilevel-analysis hierarchical-bayesian deep-learning

Als «deep-learning» getaggte Fragen