Statistiken und Big Data neural-networks

2

In einigen Tutorials wurde festgestellt, dass die "Xavier" -Gewichtsinitialisierung (Artikel: Verständnis der Schwierigkeit, tiefe Feedforward-Neuronale Netze zu trainieren ) ein effizienter Weg ist, um die Gewichte von Neuronalen Netzen zu initialisieren. Für vollständig verbundene Ebenen gab es in diesen Tutorials eine Faustregel: Var(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W)=2nin+nout,simpler alternative:Var(W)=1ninVar(W) = \frac{2}{n_{in} + n_{out}}, \quad …

14 normal-distribution variance neural-networks conv-neural-network

3

Universeller Approximationssatz für Faltungsnetzwerke

Der universelle Approximationssatz ist ein ziemlich bekanntes Ergebnis für neuronale Netze, das im Grunde besagt, dass unter bestimmten Annahmen eine Funktion durch ein neuronales Netz mit beliebiger Genauigkeit einheitlich approximiert werden kann. Gibt es ein analoges Ergebnis, das für Faltungs-Neuronale Netze gilt?

14 neural-networks conv-neural-network approximation

3

Was genau ist der Unterschied zwischen einem parametrischen und einem nicht parametrischen Modell?

Ich bin verwirrt mit der Definition eines nichtparametrischen Modells, nachdem ich diesen Link gelesen habe. Parametrische vs nichtparametrische Modelle und Antwortkommentare meiner anderen Frage . Ursprünglich dachte ich, "parametrisch gegen nicht parametrisch" bedeutet, wenn wir Verteilungsannahmen für das Modell haben (ähnlich wie beim Testen parametrischer oder nicht parametrischer Hypothesen). Beide …

14 machine-learning neural-networks nonparametric terminology parametric

2

Neuronale Netze: One-Hot-Variable überwältigend kontinuierlich?

Ich habe Rohdaten mit etwa 20 Spalten (20 Features). Zehn von ihnen sind kontinuierliche Daten und zehn von ihnen sind kategorisch. Einige der kategorialen Daten können bis zu 50 verschiedene Werte haben (US-Bundesstaaten). Nachdem ich die Daten vorverarbeitet habe, werden die 10 fortlaufenden Spalten zu 10 vorbereiteten Spalten, und die …

13 machine-learning neural-networks tensorflow data-preprocessing theano

1

Warum ist intensives Lernen nicht stabil?

In DeepMinds 2015 veröffentlichtem Artikel über vertieftes Lernen heißt es, dass "frühere Versuche, RL mit neuronalen Netzen zu kombinieren, größtenteils aufgrund von instabilem Lernen gescheitert waren". Der Aufsatz listet dann einige Ursachen auf, die auf Korrelationen zwischen den Beobachtungen beruhen. Könnte mir bitte jemand erklären, was das bedeutet? Handelt es …

13 machine-learning neural-networks deep-learning reinforcement-learning

2

Warum lassen sich neuronale Netze leicht täuschen?

Ich habe einige Artikel über das manuelle Ausdenken von Bildern gelesen, um ein neuronales Netzwerk zu "täuschen" (siehe unten). Liegt das daran, dass die Netzwerke nur die bedingte Wahrscheinlichkeit modellieren ? Wenn ein Netzwerk die gemeinsame Wahrscheinlichkeit p ( y , x ) modellieren kann , treten solche Fälle dann …

13 machine-learning neural-networks deep-learning

2

Was ist der Ursprung der Autoencoder-Neuronalen Netze?

Ich habe in Google, Wikipedia, Google Scholar und anderen Quellen gesucht, aber den Ursprung der Autoencoder nicht gefunden. Vielleicht ist es eines dieser Konzepte, das sich sehr allmählich weiterentwickelt hat, und es ist unmöglich, einen klaren Ausgangspunkt zu finden, aber ich möchte dennoch eine Art Zusammenfassung der wichtigsten Schritte ihrer …

13 neural-networks autoencoders history

2

Führen korrelierte Eingabedaten zu einer Überanpassung mit neuronalen Netzen?

Meiner Meinung nach müssen korrelierte Eingabedaten in neuronalen Netzen zu einer Überanpassung führen, da das Netz die Korrelation lernt, z. B. Rauschen in den Daten. Ist das richtig?

13 correlation neural-networks overfitting

2

Was ist der Vorteil der abgeschnittenen Normalverteilung beim Initialisieren von Gewichten in einem neuronalen Netzwerk?

Beim Initialisieren von Verbindungsgewichtungen in einem vorwärtsgerichteten neuronalen Netzwerk ist es wichtig, sie zufällig zu initialisieren, um Symmetrien zu vermeiden, die der Lernalgorithmus nicht unterbrechen könnte. Die Empfehlung, die ich an verschiedenen Stellen gesehen habe (z. B. in TensorFlows MNIST-Tutorial ), ist die Verwendung der abgeschnittenen Normalverteilung unter Verwendung einer …

13 neural-networks backpropagation weights truncated-normal

2

Wie werden Gewichte in der Batch-Lernmethode in neuronalen Netzen aktualisiert?

Kann mir bitte jemand sagen, wie ich ein neuronales Netzwerk mit der Batch-Methode aufbauen soll? Ich habe gelesen, dass wir im Batch-Modus für alle Stichproben im Trainingssatz den Fehler, das Delta und damit die Delta-Gewichte für jedes Neuron im Netzwerk berechnen und diese dann akkumulieren, anstatt sie sofort zu aktualisieren, …

13 machine-learning neural-networks

1

So trainieren Sie die LSTM-Schicht des Deep-Network

Ich benutze ein LSTM- und Feed-Forward-Netzwerk, um Text zu klassifizieren. Ich konvertiere den Text in One-Hot-Vektoren und speise jeden in den lstm ein, damit ich ihn als eine einzige Darstellung zusammenfassen kann. Dann füttere ich es dem anderen Netzwerk. Aber wie trainiere ich das lstm? Ich möchte den Text nur …

13 classification neural-networks deep-learning lstm

3

Wie genau verwenden Faltungsneuralnetze die Faltung anstelle der Matrixmultiplikation?

Ich habe Yoshua Bengios Buch über tiefes Lernen gelesen und auf Seite 224 steht: Faltungsnetzwerke sind einfach neuronale Netzwerke, die Faltung anstelle der allgemeinen Matrixmultiplikation in mindestens einer ihrer Schichten verwenden. Ich war mir jedoch nicht hundertprozentig sicher, wie man "Matrixmultiplikation durch Faltung ersetzen" kann. Was mich wirklich interessiert, ist, …

13 machine-learning neural-networks deep-learning convolution

2

Zeitreihenanalyseverfahren und -methoden unter Verwendung von R

Ich arbeite an einem kleinen Projekt, bei dem wir versuchen, die Rohstoffpreise (Öl, Aluminium, Zinn usw.) für die nächsten 6 Monate vorherzusagen. Ich muss 12 solche Variablen vorhersagen und habe Daten von April 2008 bis Mai 2013. Wie gehe ich bei der Vorhersage vor? Ich habe folgendes gemacht: Importierte Daten …

13 r time-series forecasting neural-networks arima

1

Wie erhalte ich eine echte kontinuierliche Ausgabe von Neural Network?

In den meisten Beispielen, die ich bisher für neuronale Netze gesehen habe, wird das Netz zur Klassifizierung verwendet, und die Knoten werden mit einer Sigmoidfunktion transformiert. Ich möchte jedoch ein neuronales Netzwerk verwenden, um einen kontinuierlichen Realwert auszugeben (realistisch wäre die Ausgabe normalerweise im Bereich von -5 bis +5). Meine …

13 regression neural-networks

2

Was steht dem Einsatz gepulster neuronaler Netze in Anwendungen im Wege?

Gepulste oder spitzende neuronale Netze berücksichtigen einen größeren Teil der Membrandynamik biologischer Neuronen, wobei Impulse Informationen zur nächsten Schicht übertragen. Die Neuronen müssen nicht unbedingt alle gleichzeitig "feuern", wie dies zum Beispiel in einem Backprop der Fall wäre. Es scheint jedoch Hindernisse zu geben, diese Modelle für Probleme des maschinellen …

13 neural-networks

Als «neural-networks» getaggte Fragen