Als «neural-networks» getaggte Fragen

Ich versuche zu lernen, wie man neuronale Netze benutzt. Ich habe dieses Tutorial gelesen . Nach dem Anpassen eines neuronalen Netzes an eine Zeitreihe unter Verwendung des Wertes bei zur Vorhersage des Wertes bei t + 1 erhält der Autor das folgende Diagramm, wobei die blaue Linie die Zeitreihe ist, …

15 time-series  neural-networks  predictive-models  deep-learning  prediction 

Ab wann werden mehrschichtige neuronale Netze als tiefe neuronale Netze klassifiziert oder anders ausgedrückt: Wie viele Schichten müssen mindestens in einem tiefen neuronalen Netz vorhanden sein?

15 machine-learning  neural-networks  deep-learning  terminology 

Als ich Mini Batch Gradient Decent implementiert habe, habe ich nur die Gradienten aller Beispiele im Trainingsbatch gemittelt. Allerdings ist mir aufgefallen, dass jetzt die optimale Lernrate deutlich höher ist als bei anständigen Online-Gefällen. Meiner Intuition nach ist dies so, weil der gemittelte Gradient weniger verrauscht ist und somit schneller …

15 neural-networks  gradient-descent  backpropagation 

Als Folge dessen, dass mein neuronales Netzwerk nicht einmal die euklidische Distanz lernen kann, vereinfachte ich noch mehr und versuchte, eine einzelne ReLU (mit zufälliger Gewichtung) zu einer einzelnen ReLU zu trainieren. Dies ist das einfachste Netzwerk, das es gibt, und dennoch scheitert die Konvergenz in der Hälfte der Zeit. …

15 machine-learning  neural-networks  optimization  keras 

Wie lautet die Ableitung der ReLU-Aktivierungsfunktion, die wie folgt definiert ist: ReLU(x)=max(0,x)ReLU(x)=max(0,x) \mathrm{ReLU}(x) = \mathrm{max}(0, x) Was ist mit dem Sonderfall, in dem die Funktion bei eine Diskontinuität aufweist ?x=0x=0x=0

15 self-study  neural-networks 

Ich versuche die Yolo v2-Verlustfunktion zu verstehen: λc o o r d∑i = 0S2∑j = 0B1o b jich j[ ( xich- x^ich)2+ ( yich−y^i)2]+λcoord∑i=0S2∑j=0B1objij[(wi−−√−w^i−−√)2+(hi−−√−h^i−−√)2]+∑i=0S2∑j=0B1objij(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1noobjij(Ci−C^i)2+∑i=0S21obji∑c∈classes(pi(c)−p^i(c))2λcoord∑i=0S2∑j=0B1ijobj[(xi−x^i)2+(yi−y^i)2]+λcoord∑i=0S2∑j=0B1ijobj[(wi−w^i)2+(hi−h^i)2]+∑i=0S2∑j=0B1ijobj(Ci−C^i)2+λnoobj∑i=0S2∑j=0B1ijnoobj(Ci−C^i)2+∑i=0S21iobj∑c∈classes(pi(c)−p^i(c))2\begin{align} &\lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2 ] \\&+ \lambda_{coord} \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}[(\sqrt{w_i}-\sqrt{\hat{w}_i})^2 +(\sqrt{h_i}-\sqrt{\hat{h}_i})^2 ]\\ &+ \sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{obj}(C_i - \hat{C}_i)^2 + \lambda_{noobj}\sum_{i=0}^{S^2}\sum_{j=0}^B \mathbb{1}_{ij}^{noobj}(C_i - \hat{C}_i)^2 \\ &+ \sum_{i=0}^{S^2} \mathbb{1}_{i}^{obj}\sum_{c …

15 neural-networks  loss-functions  object-detection  yolo 

Die Stellen, die ich über den Fluch der Dimensionalität gelesen habe, erklären ihn hauptsächlich in Verbindung mit kNN und linearen Modellen im Allgemeinen. Ich sehe regelmäßig Spitzenreiter in Kaggle, die Tausende von Funktionen in einem Datensatz verwenden, der kaum 100.000 Datenpunkte enthält. Sie verwenden unter anderem hauptsächlich Boosted-Bäume und NN. …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

Im grundlegenden maschinellen Lernen lernen wir die folgenden "Faustregeln": a) Die Größe Ihrer Daten sollte mindestens das 10-fache der Größe der VC-Dimension Ihres Hypothesensatzes betragen. b) Ein neuronales Netz mit N Anschlüssen hat eine VC-Dimension von ungefähr N. Wenn also ein Deep Learning-neuronales Netzwerk Millionen von Einheiten umfasst, sollten wir …

15 machine-learning  neural-networks  deep-learning  vc-dimension 

Ich trainiere ein neuronales Netzwerk mit i) SGD und ii) Adam Optimizer. Bei Verwendung von normalem SGD erhalte ich eine glatte Kurve zwischen Trainingsverlust und Iteration (siehe unten) (die rote). Wenn ich jedoch den Adam Optimizer verwendet habe, weist die Trainingsverlustkurve einige Spitzen auf. Was ist die Erklärung für diese …

15 neural-networks  deep-learning  adam 

In neuronalen Faltungsnetzen (CNN) werden die Zeilen und Spalten der Gewichtungsmatrix bei jedem Schritt umgedreht, um die Kernelmatrix zu erhalten, bevor mit der Faltung fortgefahren wird. Dies wird in einer Reihe von Videos von Hugo Larochelle hier erklärt : Berechnung der versteckten Karten entspräche eine diskrete Faltung mit einem Kanal …

14 machine-learning  neural-networks  conv-neural-network  convolution 

In einem wiederkehrenden neuronalen Netzwerk würden Sie normalerweise die Weiterleitung über mehrere Zeitschritte durchführen, das Netzwerk "ausrollen" und dann die Weiterleitung über die Folge von Eingaben zurückführen. Warum sollten Sie nicht einfach die Gewichte nach jedem einzelnen Schritt in der Sequenz aktualisieren? (Das entspricht einer Trunkierungslänge von 1, es gibt …

14 time-series  neural-networks  backpropagation  rnn 

Die Struktur dieser Frage ist wie folgt: Zuerst stelle ich das Konzept des Ensemble-Lernens vor , dann erstelle ich eine Liste der Mustererkennungsaufgaben , dann gebe ich Beispiele für Ensemble-Lernalgorithmen und stelle schließlich meine Frage vor. Diejenigen, die nicht alle ergänzenden Informationen benötigen, sehen sich möglicherweise nur die Überschriften an …

14 machine-learning  neural-networks  pattern-recognition  ensemble  ocr 

Ich bin ein Anfänger, der versucht, mein erstes Projekt zusammenzustellen. Ich hatte ein Songklassifizierungsprojekt im Sinn, aber da ich manuell beschriften würde, könnte ich nur 1000 Songs oder 60 Stunden Musik vernünftigerweise zusammenstellen. Ich würde mit mehreren Klassen klassifizieren, daher ist es möglich, dass eine Klasse nur 50-100 Songs im …

14 neural-networks 

Alle Beispiele, die ich mit Deep-Believe- oder Faltungs-Neuronalen Netzen gefunden habe, verwenden sie zur Bildklassifizierung, zur Erkennung von Chat-Zeichen oder zur Spracherkennung. Sind tiefe neuronale Netze auch für klassische Regressionsaufgaben nützlich, bei denen die Merkmale nicht strukturiert sind (z. B. nicht in einer Sequenz oder einem Gitter angeordnet sind)? Wenn …

14 regression  machine-learning  neural-networks  deep-learning 

Angenommen, ich schreibe einen Algorithmus zum Aufbau eines gestapelten 2-Schichten-Autoencodierers und eines neuronalen 2-Schichten-Netzwerks. Sind sie die gleichen Dinge oder der Unterschied? Ich verstehe, dass ich beim Erstellen eines gestapelten Autoencoders Schicht für Schicht erstellen würde. Für ein neuronales Netzwerk initialisiere ich alle Parameter im Netzwerk und leite sie dann …

14 neural-networks  deep-learning  autoencoders