Als «neural-networks» getaggte Fragen

Künstliche neuronale Netze (ANNs) sind eine breite Klasse von Rechenmodellen, die lose auf biologischen neuronalen Netzen basieren. Sie umfassen Feedforward-NNs (einschließlich "tiefer" NNs), Faltungs-NNs, wiederkehrende NNs usw.

2
Gibt es Möglichkeiten, mit dem verschwindenden Gradienten für die Sättigung von Nichtlinearitäten umzugehen, bei denen keine Chargennormalisierung oder ReLu-Einheiten erforderlich sind?
Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach die Nichtlinearität aufzugeben und ReLu- Gleichrichter- / ReLu- Einheiten zu verwenden. Ich wollte …
1
Enthält ein optimal entworfenes neuronales Netzwerk beim Training keine „toten“ ReLU-Neuronen?
Sollte ich mein neuronales Netzwerk im Allgemeinen mit weniger Neuronen neu trainieren, damit es weniger tote ReLU-Neuronen hat? Ich habe widersprüchliche Meinungen über tote ReLUs gelesen. Einige Quellen sagen, dass tote ReLUs gut sind, weil sie die Sparsamkeit fördern. Andere sagen, dass sie schlecht sind, weil tote ReLUs für immer …
1
RNN lernt Sinuswellen mit unterschiedlichen Frequenzen
Zum Aufwärmen mit wiederkehrenden neuronalen Netzen versuche ich, eine Sinuswelle von einer anderen Sinuswelle einer anderen Frequenz vorherzusagen. Mein Modell ist eine einfache RNN, deren Vorwärtsdurchlauf wie folgt ausgedrückt werden kann: wobeiσdie Sigmoïd-Funktion ist.rtzt=σ(Win⋅xt+Wrec⋅rt−1))=Wout⋅rtrt=σ(Win⋅xt+Wrec⋅rt−1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} \cdot x_t + W_{rec} \cdot r_{t-1}))\\ z_t &= W_{out} \cdot r_t \end{aligned} …
3
Ein konkretes Beispiel ist die Durchführung einer SVD, um fehlende Werte zu unterstellen
Ich habe die großartigen Kommentare zum Umgang mit fehlenden Werten vor dem Anwenden von SVD gelesen, möchte aber anhand eines einfachen Beispiels wissen, wie dies funktioniert: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Wenn ich in der …
8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning 
2
RNN-Topologie (Recurrent Neural Network): Warum immer vollständig verbunden?
Ich habe angefangen, über wiederkehrende neuronale Netze (RNNs) und Langzeit-Kurzzeitgedächtnis (LSTM) zu lesen ... (... oh, nicht genug Wiederholungspunkte hier, um Referenzen aufzulisten ...) Eine Sache verstehe ich nicht: Es scheint immer, dass Neuronen in jeder Instanz einer verborgenen Schicht mit jedem Neuron in der vorherigen Instanz der verborgenen Schicht …
1
Wie kann man die geometrische Intuition des Innenlebens neuronaler Netze verstehen?
Ich habe in letzter Zeit die Theorie hinter ANNs studiert und wollte die "Magie" hinter ihrer Fähigkeit zur nichtlinearen Klassifizierung mehrerer Klassen verstehen. Dies führte mich zu dieser Website, auf der geometrisch gut erklärt wird, wie diese Annäherung erreicht wird. So habe ich es verstanden (in 3D): Die verborgenen Ebenen …
3
Ist es im Computermodell von TensorFlow möglich, allgemeine Algorithmen für maschinelles Lernen zu implementieren?
https://www.tensorflow.org/ Alle Projekte auf TensorFlow, die ich in GitHub gesehen habe, implementieren eine Art neuronales Netzwerkmodell. Angesichts der Tatsache, dass TensorFlow eine Verbesserung gegenüber der DAG darstellt (es ist nicht mehr azyklisch), habe ich mich gefragt, ob ein inhärenter Mangel es für ein allgemeines Modell des maschinellen Lernens ungeeignet macht. …
3
Numerische Gradientenprüfung: Wie nah ist nah genug?
Ich habe ein neuronales Faltungsnetzwerk erstellt und wollte mithilfe der numerischen Gradientenprüfung überprüfen, ob meine Gradienten korrekt berechnet werden. Die Frage ist, wie nah ist nah genug? Meine Überprüfungsfunktion spuckt nur die berechnete Ableitung, die numerisch angenäherte Ableitung, die Differenz zwischen den beiden aus und ob die beiden Werte das …
1
Aufbau einer problemspezifischen Verlustfunktion
Problembeschreibung Ich beginne mit dem Aufbau eines Netzwerks für ein Problem, von dem ich glaube, dass es eine weitaus aufschlussreichere Verlustfunktion haben könnte als eine einfache MSE-Regression. Mein Problem betrifft die Klassifizierung in mehrere Kategorien ( siehe meine Frage zu SO, was ich damit meine), bei der es einen definierten …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.