Statistiken und Big Data neural-networks

2

Vor kurzem habe ich mich mit dem Erlernen von Boosting-Algorithmen wie Adaboost und Gradienten-Boost befasst, und ich kenne die Tatsache, dass der am häufigsten verwendete schwache Lernende Bäume sind. Ich möchte wirklich wissen, ob es in letzter Zeit einige erfolgreiche Beispiele (ich meine einige Artikel oder Artikel) für die Verwendung …

21 neural-networks deep-learning boosting ensemble dropout

3

Von der Perceptron-Regel zum Gradientenabstieg: Wie unterscheiden sich Perceptrons mit einer Sigmoid-Aktivierungsfunktion von der logistischen Regression?

Im Wesentlichen ist meine Frage, dass in mehrschichtigen Perzeptronen Perzeptrone mit einer Sigma-Aktivierungsfunktion verwendet werden. So dass in der Aktualisierungsregel y wird wie folgt berechnety^y^\hat{y} y^= 11 + exp( - wTxich)y^=11+exp⁡(-wTxich)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} Inwiefern unterscheidet sich dieses "Sigma" -Perceptron von einer logistischen Regression? Ich würde sagen , dass eine einlagige …

21 logistic classification neural-networks gradient-descent perceptron

2

Faltungsneurales Netz für Zeitreihen?

Ich würde gerne wissen, ob es einen Code zum Trainieren eines Faltungsnetzes für die Zeitreihenklassifizierung gibt. Ich habe kürzlich einige Veröffentlichungen gesehen ( http://www.fer.unizg.hr/_download/repository/KDI-Djalto.pdf ), bin mir aber nicht sicher, ob es etwas gibt oder ob ich es selbst codieren muss.

21 time-series classification neural-networks conv-neural-network

5

Grund für die Nichtverringerung des Bias-Terms (Intercept-Terms) bei der Regression

Für ein lineares Modell ist der Schrumpfterm immer .y=β0+xβ+εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP( β)P(β)P(\beta) Was ist der Grund, warum wir den Verzerrungsbegriff nicht verkleinern ? Sollen wir den Bias-Term in den neuronalen Netzwerkmodellen verkleinern?β0β0\beta_0

21 regression neural-networks ridge-regression intercept shrinkage

5

Moderne neuronale Netze, die ihre eigene Topologie aufbauen

Eine Einschränkung der Standardalgorithmen für neuronale Netze (wie Backprop) besteht darin, dass Sie eine Entwurfsentscheidung treffen müssen, wie viele verborgene Schichten und Neuronen pro Schicht Sie möchten. In der Regel ist die Lernrate und Verallgemeinerung sehr empfindlich auf diese Entscheidungen. Dies war der Grund, warum neuronale Netzalgorithmen wie die Kaskadenkorrelation …

21 neural-networks

5

Wie verbessere ich mein neuronales Netzwerk bei der Vorhersage von Sinuswellen?

Hier ein Blick: Sie können genau sehen, wo die Trainingsdaten enden. Die Trainingsdaten reichen von bis .- 1-1-1111 Ich habe Keras und ein dichtes 1-100-100-2-Netzwerk mit Tanh-Aktivierung verwendet. Ich berechne das Ergebnis aus zwei Werten, p und q als p / q. Auf diese Weise kann ich eine beliebige Anzahl …

21 regression neural-networks python keras

3

Trainingsverlust steigt mit der Zeit

Diese Frage hat hier bereits Antworten : Wie kann eine Änderung der Kostenfunktion positiv sein? (1 Antwort) Was soll ich tun, wenn mein neuronales Netzwerk nicht lernt? (5 Antworten) Geschlossen im letzten Monat . Ich trainiere ein Modell (Recurrent Neural Network), um 4 Arten von Sequenzen zu klassifizieren. Während ich …

21 machine-learning neural-networks loss-functions rnn training-error

2

Was sind die Vorteile von ReLU gegenüber Softplus als Aktivierungsfunktionen?

Es wird oft erwähnt, dass gleichgerichtete Lineareinheiten (ReLU) Softplus-Einheiten abgelöst haben, weil sie linear sind und schneller berechnet werden können. Hat softplus it noch den Vorteil der Sparity-Induktion oder ist das auf die ReLU beschränkt? Der Grund, den ich frage, ist, dass ich mich über die negativen Konsequenzen der Null-Steigung …

21 machine-learning neural-networks

2

Warum wird die Softmax-Funktion verwendet, um Wahrscheinlichkeiten zu berechnen, obwohl wir jeden Wert durch die Summe des Vektors teilen können?

Durch Anwenden der Softmax-Funktion auf einen Vektor werden "Wahrscheinlichkeiten" und Werte zwischen 000 und . 111 Wir können aber auch jeden Wert durch die Summe der Vektoren dividieren, wodurch Wahrscheinlichkeiten und Werte zwischen000 und .111 Ich habe die Antwort hier gelesen , aber es heißt, dass der Grund darin liegt, …

20 machine-learning neural-networks softmax

2

Was ist der Unterschied zwischen dem Varianzskalierungsinitialisierer und dem Xavier-Initialisierer?

In Tensorflows Implementierung von ResNet wird der Varianzskalierungsinitialisierer verwendet . Ich finde auch, dass der Xavier-Initialisierer beliebt ist. Ich habe nicht zu viel Erfahrung damit, was ist in der Praxis besser?

20 machine-learning neural-networks deep-learning conv-neural-network tensorflow

1

Von Bayes'schen Netzen zu neuronalen Netzen: Wie multivariate Regression in ein Netzwerk mit mehreren Ausgängen übertragen werden kann

Ich habe es mit einem Bayesian Hierarchical Linear Model zu tun , hier das Netzwerk, das es beschreibt. YYY für den täglichen Verkauf eines Produkts in einem Supermarkt (beobachtet). XXX ist eine bekannte Matrix von Regressoren, einschließlich Preisen, Werbeaktionen, Wochentagen, Wetter, Feiertagen. 1SSS ist der unbekannte latente Lagerbestand jedes Produkts, …

20 regression bayesian neural-networks generalized-linear-model bayesian-network

4

Codierungswinkeldaten für neuronales Netzwerk

Ich trainiere ein neuronales Netzwerk (Details nicht wichtig), bei dem die Zieldaten ein Winkelvektor sind (zwischen 0 und 2 * pi). Ich suche Rat, wie ich diese Daten verschlüsseln kann. Folgendes versuche ich derzeit (mit begrenztem Erfolg): 1) 1-von-C-Codierung: Ich bin die eingestellten möglichen Winkel in etwa 1000 diskrete Winkel …

20 neural-networks circular-statistics

1

Wie richte ich ein neuronales Netzwerk für die Ausgabe von Ordnungsdaten ein?

Ich habe ein neuronales Netzwerk eingerichtet, um etwas vorherzusagen, bei dem die Ausgabevariable ordinal ist. Ich werde im Folgenden drei mögliche Ausgänge A <B <C beschreiben. Es ist ziemlich offensichtlich, wie ein neuronales Netzwerk zur Ausgabe kategorialer Daten verwendet wird: Die Ausgabe ist nur ein Softmax der letzten (normalerweise vollständig …

20 neural-networks ordinal-data softmax

2

Warum sollten Sie in neuronalen Netzen Gradientenmethoden anstelle anderer Metaheuristiken verwenden?

Warum werden beim Training tiefer und flacher neuronaler Netze im Gegensatz zu anderen Metaheuristiken häufig Gradientenmethoden (z. B. Gradientenabstieg, Nesterov, Newton-Raphson) verwendet? Mit Metaheuristik meine ich Methoden wie simuliertes Tempern, Optimierung von Ameisenkolonien usw., die entwickelt wurden, um zu vermeiden, dass sie in einem lokalen Minimum hängen bleiben.

20 neural-networks optimization deep-learning gradient-descent backpropagation

2

Warum funktioniert die Backpropagation nicht, wenn Sie die Wertigkeiten mit demselben Wert initialisieren?

Warum funktioniert die Backpropagation nicht, wenn Sie alle Gewichte mit demselben Wert initialisieren (z. B. 0,5), aber wenn Sie Zufallszahlen angeben, funktioniert sie einwandfrei? Sollte der Algorithmus den Fehler nicht berechnen und von dort aus arbeiten, obwohl die Gewichte anfangs gleich sind?

20 machine-learning neural-networks backpropagation

Als «neural-networks» getaggte Fragen