Statistiken und Big Data neural-networks

2

tanh Aktivierungsfunktion vs Sigmoid Aktivierungsfunktion

Die Tanh-Aktivierungsfunktion ist: t a n h ( x ) = 2 ≤ σ( 2 x ) - 1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Wobei , die Sigmoidfunktion, definiert ist als: .σ ( x ) = e xσ( x )σ(x)\sigma(x) σ( x …

82 machine-learning neural-networks optimization cost-maximization

4

Warum werden neuronale Netze tiefer, aber nicht breiter?

In den letzten Jahren sind neuronale Faltungsnetze (oder vielleicht auch tiefe neuronale Netze im Allgemeinen) immer tiefer geworden, wobei die Netze auf dem neuesten Stand der Technik von 7 Schichten ( AlexNet ) auf 1000 Schichten ( Residual Nets) innerhalb von 4 Schichten übergegangen sind Jahre. Der Grund für die …

73 machine-learning classification neural-networks deep-learning conv-neural-network

3

Warum interessieren sich Forscher für neuronale Netze für Epochen?

Eine Epoche in stochastischer Gradientenabnahme ist definiert als ein einzelner Durchgang durch die Daten. Für jedes SGD-Minibatch werden kkk Proben gezogen, der Gradient berechnet und die Parameter aktualisiert. In der Epocheneinstellung werden die Muster ersatzlos gezogen. Dies erscheint jedoch unnötig. Warum nicht jedes SGD-Minibatch so zeichnen, wie kkk zufällig aus …

69 neural-networks deep-learning gradient-descent

6

Was sind gute Anfangsgewichte in einem neuronalen Netzwerk?

Ich habe gerade gehört, dass es eine gute Idee ist, die Anfangsgewichte eines neuronalen Netzes aus dem Bereich zu wählen , wobei ist Anzahl der Eingaben in ein bestimmtes Neuron. Es wird angenommen, dass die Mengen normalisiert sind - Mittelwert 0, Varianz 1 (weiß nicht, ob dies wichtig ist).d( - …

68 neural-networks normalization

3

Richtige Methode zur Verwendung eines wiederkehrenden neuronalen Netzwerks für die Zeitreihenanalyse

Rekurrente neuronale Netze unterscheiden sich von "regulären" dadurch, dass sie eine "Gedächtnis" -Schicht haben. Aufgrund dieser Schicht sollten wiederkehrende NNs bei der Zeitreihenmodellierung nützlich sein. Ich bin mir jedoch nicht sicher, ob ich richtig verstehe, wie man sie benutzt. Angenommen, ich habe die folgenden Zeitreihen (von links nach rechts): [0, …

67 time-series machine-learning neural-networks

4

Wo soll ich Dropout-Layer in einem neuronalen Netzwerk platzieren?

Gibt es allgemeine Richtlinien zum Platzieren von Dropout-Layern in einem neuronalen Netzwerk?

65 neural-networks dropout

5

Welche Verlustfunktion für Klassifizierungsaufgaben mit mehreren Klassen und mehreren Markierungen in neuronalen Netzen?

Ich trainiere ein neuronales Netzwerk, um eine Menge von Objekten in n-Klassen zu klassifizieren. Jedes Objekt kann gleichzeitig mehreren Klassen angehören (Multi-Class, Multi-Label). Ich habe gelesen, dass bei Problemen mit mehreren Klassen generell empfohlen wird, anstelle von mse Softmax und kategoriale Kreuzentropie als Verlustfunktion zu verwenden, und ich verstehe mehr …

64 neural-networks python loss-functions keras cross-entropy

12

Warum benötigen neuronale Netze so viele Trainingsbeispiele?

Ein menschliches Kind im Alter von 2 Jahren benötigt ungefähr 5 Instanzen eines Autos, um es mit angemessener Genauigkeit zu identifizieren, unabhängig von Farbe, Fabrikat usw. Als mein Sohn 2 Jahre alt war, konnte er Straßenbahnen und Züge identifizieren, obwohl er sie gesehen hatte nur ein paar. Da er normalerweise …

64 neural-networks neuroscience

3

Was ist der Unterschied zwischen einem neuronalen Netzwerk und einem Deep-Believe-Netzwerk?

Ich habe den Eindruck, dass, wenn man sich auf ein "Deep Believe" -Netzwerk bezieht, dies im Grunde genommen ein neuronales Netzwerk ist, aber sehr groß. Ist das richtig oder impliziert ein tiefes Glaubensnetzwerk auch, dass der Algorithmus selbst anders ist (dh kein vorwärtskoppelndes neuronales Netz, aber vielleicht etwas mit Rückkopplungsschleifen)?

62 machine-learning neural-networks deep-learning deep-belief-networks

9

Wie und warum funktionieren Normalisierung und Feature-Skalierung?

Ich sehe, dass viele Algorithmen für maschinelles Lernen mit mittlerer Auslöschung und Kovarianzausgleich besser funktionieren. Beispielsweise konvergieren neuronale Netze tendenziell schneller, und K-Means bietet im Allgemeinen eine bessere Clusterbildung mit vorverarbeiteten Features. Ich sehe nicht, dass die Intuition hinter diesen Vorverarbeitungsschritten zu einer Leistungssteigerung führt. Kann mir das jemand erklären?

61 machine-learning neural-networks covariance normalization

3

Was ist der Unterschied zwischen Feed-Forward- und rekurrenten neuronalen Netzen?

Was ist der Unterschied zwischen einem Feed-Forward- und einem rekurrenten neuronalen Netzwerk? Warum würden Sie eine übereinander verwenden? Gibt es andere Netzwerktopologien?

58 machine-learning neural-networks terminology rnn topologies

10

Validierungsfehler kleiner als Trainingsfehler?

Ich habe hier und hier zwei Fragen zu diesem Problem gefunden, aber es gibt noch keine offensichtliche Antwort oder Erklärung. Ich erzwinge dasselbe Problem, bei dem der Überprüfungsfehler geringer ist als der Trainingsfehler in meinem Convolution Neural Network. Was bedeutet das?

57 machine-learning mathematical-statistics neural-networks cross-validation

4

Was sind die Unterschiede zwischen PCA und Autoencoder?

Sowohl PCA als auch Autoencoder können die Demension reduzieren. Was ist also der Unterschied zwischen ihnen? In welcher Situation sollte ich einen über einen anderen setzen?

56 machine-learning pca neural-networks autoencoders

8

R Bibliotheken für tiefes Lernen

Ich habe mich gefragt, ob es da draußen gute R-Bibliotheken für tieflernende neuronale Netze gibt. Ich weiß, dass es die nnet, neuralnetund gibt RSNNS, aber keine davon scheint Deep-Learning-Methoden zu implementieren. Ich interessiere mich besonders für unbeaufsichtigtes, gefolgt von beaufsichtigtem Lernen und für die Verwendung von Abbrüchen, um eine Co-Anpassung …

56 r neural-networks deep-learning rbm deep-belief-networks

2

Was ist die globale Max-Pooling-Schicht und was ist ihr Vorteil gegenüber der Max-Pooling-Schicht?

Kann jemand erklären, was eine globale Max-Pooling- Schicht ist und warum und wann wir sie zum Trainieren eines neuronalen Netzwerks verwenden. Haben sie einen Vorteil gegenüber einer gewöhnlichen Max-Pooling-Schicht?

55 neural-networks conv-neural-network pooling

Als «neural-networks» getaggte Fragen