Statistiken und Big Data neural-networks

2

Dynamische Anpassung der NN-Architektur: Das Unnötige erfinden?

Ich beginne meine Doktorandenreise und das ultimative Ziel, das ich mir gesetzt habe, ist die Entwicklung von ANNs, die die Umgebung überwachen, in der sie arbeiten, und ihre Architektur dynamisch an das jeweilige Problem anpassen. Die offensichtliche Implikation ist die Zeitlichkeit der Daten: Wenn der Datensatz nicht kontinuierlich ist und …

9 machine-learning neural-networks

1

Messung der Korrelation trainierter neuronaler Netze

Ich trainiere ein künstliches neuronales Netzwerk (Backpropagation, Feed-Forward) mit nicht normal verteilten Daten. Neben dem quadratischen Mittelwertfehler wird in der Literatur häufig der Pearson-Korrelationskoeffizient zur Bewertung der Qualität des trainierten Netzes vorgeschlagen. Aber ist der Pearson-Korrelationskoeffizient angemessen, wenn die Trainingsdaten nicht normal verteilt sind? Wäre es nicht vernünftiger, ein rangbasiertes …

9 correlation neural-networks spearman-rho

1

Variations-Autoencoder mit Gaußschem Mischungsmodell

Ein Variations-Autoencoder (VAE) bietet eine Möglichkeit, die Wahrscheinlichkeitsverteilung lernen die einen Eingang mit seiner latenten Darstellung Beziehung setzt . Insbesondere ordnet der Codierer einen Eingang einer Verteilung auf . Ein typischer Encoder gibt Parameter , die die Gaußsche Verteilung . Diese Verteilung wird als Näherung für .p ( x , …

9 neural-networks deep-learning autoencoders variational-bayes

1

Wie viele Parameter befinden sich in einer RNN-Schicht (Gated Recurrent Unit)?

Der Titel sagt schon alles - wie viele trainierbare Parameter gibt es in einer GRU-Schicht? Diese Art von Frage taucht häufig auf, wenn versucht wird, Modelle verschiedener RNN-Schichttypen, wie z. B. LSTM-Einheiten (Long Short Term Memory), mit GRU hinsichtlich der Leistung pro Parameter zu vergleichen. Da eine größere Anzahl trainierbarer …

9 neural-networks rnn gru

1

Protokollwahrscheinlichkeiten in Bezug auf den Softmax-Klassifikator

In diesem https://cs231n.github.io/neural-networks-case-study/ wird erwähnt, warum "der Softmax-Klassifizierer jedes Element von ff so interpretiert, dass es die (nicht normalisierten) Protokollwahrscheinlichkeiten der drei Klassen enthält". Ich verstehe, warum es nicht normalisiert ist, aber nicht, warum es protokolliert wird. Was bedeutet eine Log-Wahrscheinlichkeit? Warum nicht einfach nicht normalisierte Wahrscheinlichkeiten sagen?

9 machine-learning neural-networks information-theory softmax

1

Was ist eine dichte Vorhersage beim Deep Learning?

Ich verwende TensorFlows vorab trainiertes Modell des Convolutional Neural Network. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 Ich habe folgenden Satz gefunden: Für dichte Vorhersageaufgaben empfehlen wir jedoch, Eingaben mit räumlichen Dimensionen zu verwenden, die ein Vielfaches von 32 plus 1 sind, z. B. [321, 321]. Weiß jemand, was dichte Vorhersage in dieser Literatur ist?

9 neural-networks conv-neural-network

1

Differenzierung der Kreuzentropie

Ich habe versucht, ein Programm zum Trainieren neuronaler Netze auf meinem Computer zu erstellen. Für das betreffende Netzwerk habe ich mich für die Funktion Cross Entropy Error entschieden: E=−∑jtjlnojE=−∑jtjln⁡ojE = -\sum_jt_j\ln o_j Wobei die für das Neuron ist und die Ausgabe dieses Neurons ist, das versucht, vorherzusagen . j o …

9 machine-learning neural-networks derivative cross-entropy differential-equations

2

Trainingsdaten sind unausgewogen - aber sollte mein Validierungssatz auch sein?

Ich habe Daten beschriftet, die aus 10000 positiven und 50000 negativen Beispielen bestehen, was insgesamt 60000 Beispiele ergibt. Offensichtlich sind diese Daten unausgewogen. Nehmen wir nun an, ich möchte meinen Validierungssatz erstellen und dazu 10% meiner Daten verwenden. Meine Frage lautet wie folgt: Sollte ich sicherstellen, dass mein Validierungssatz AUCH …

9 machine-learning neural-networks cross-validation dataset unbalanced-classes

3

Wie wird der Generator in einem GAN trainiert?

Das Papier über GANs besagt, dass der Diskriminator den folgenden Gradienten zum Trainieren verwendet: ∇θd1m∑i = 1m[ logD ( x( i )) +log( 1 - D ( G ( z( i )) ) ) ]∇θd1m∑i=1m[log⁡D(x(i))+log⁡(1−D(G(z(i))))]\nabla _{\theta_d} \frac{1}{m}\sum^{m}_{i=1} [\log{D(x^{(i)})} + \log{(1-D(G(z^{(i)})))}] Die Werte werden abgetastet, durch den Generator geleitet, um Datenabtastwerte …

9 machine-learning neural-networks

1

Reichen frühes Stoppen und Abbrechen aus, um die überwiegende Mehrheit der tiefen neuronalen Netze in der Praxis zu regulieren?

Es gibt so viele Regularisierungstechniken, dass es nicht praktisch ist, alle Kombinationen auszuprobieren: l1 / l2 max norm aussteigen frühes Anhalten ... Es scheint, dass die meisten Menschen mit einer Kombination aus Ausfall und frühem Abbruch zufrieden sind: Gibt es Fälle, in denen die Verwendung anderer Techniken sinnvoll ist? Wenn …

9 neural-networks regularization dropout

3

Dropout: Skalieren der Aktivierung im Vergleich zum Invertieren des Dropouts

Bei der Anwendung von Dropout in künstlichen neuronalen Netzen muss die Tatsache kompensiert werden, dass zum Zeitpunkt des Trainings ein Teil der Neuronen deaktiviert wurde. Dazu gibt es zwei gemeinsame Strategien: Skalieren der Aktivierung zur Testzeit Umkehren des Aussetzers während der Trainingsphase Die beiden Strategien sind in den folgenden Folien …

9 neural-networks deep-learning dropout

4

Was sind die Senone in einem Deep Neural Network?

Ich lese dieses Papier: Skype-Übersetzer, bei dem CD-DNN-HMMs (kontextabhängige tiefe neuronale Netze mit Hidden-Markov-Modellen) verwendet werden. Ich kann die Idee des Projekts und die Architektur, die sie entworfen haben, verstehen, aber ich verstehe nicht, was die Senone sind . Ich habe nach einer Definition gesucht, aber nichts gefunden - Wir …

9 neural-networks deep-learning terminology natural-language hidden-markov-model

1

Eingabevektordarstellung vs. Ausgabevektordarstellung in word2vec

Wie wirkt sich die Auswahl von Wortvektoren aus (Eingabewortmatrix) im Vergleich zu Wortvektoren aus W ' (Ausgabewortmatrix) in den CBOW- und Sprunggrammmodellen von word2vec auf die Qualität der resultierenden Wortvektoren aus?W.WWW′W′W' CBOW: Skip-Gramm:

9 neural-networks natural-language word2vec word-embeddings

2

Unterschied zwischen zeitverzögerten neuronalen Netzen und wiederkehrenden neuronalen Netzen

Ich möchte ein neuronales Netzwerk verwenden, um finanzielle Zeitreihen vorherzusagen. Ich komme aus einem IT-Umfeld und habe einige Kenntnisse über neuronale Netze. Ich habe darüber gelesen: TDNN RNN Ich habe nach R-Paketen für sie gesucht und nur eines für RNN gefunden, das RSNNS-Paket, das Elman- und Jordan-Implementierungen enthält, die RNN …

9 time-series forecasting neural-networks finance

2

Vektorisierung des Kreuzentropieverlustes

Ich habe es mit einem Problem zu tun, das mit dem Finden des Gradienten der Kreuzentropieverlustfunktion für den Parameter θθ\theta wobei: CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Wobei y i = s o f t m ein x ( θ i ) und θ i ist ein Vektoreingang.y^i=softmax(θi)y^i=softmax(θi)\hat{y}_{i} = softmax(\theta_i)θiθi\theta_i Auch yyy ist …

9 machine-learning neural-networks

Als «neural-networks» getaggte Fragen