Data Science deep-learning

1

Kann BERT die Aufgabe zur Vorhersage des nächsten Wortes ausführen?

Ist es möglich, BERT für die Aufgabe der Vorhersage des nächsten Wortes zu verwenden, da es bidirektional ist (einen bidirektionalen Transformator verwendet)? Wenn ja, was muss optimiert werden?

11 neural-network deep-learning attention-mechanism transformer bert

2

Was bedeutet Logits beim maschinellen Lernen?

"Ein häufiger Fehler, den ich machen würde, ist das Hinzufügen einer Nichtlinearität zu meiner Protokollausgabe." Was bedeutet der Begriff "logit" hier oder was bedeutet er?

11 machine-learning deep-learning

3

Beste Sprachen für wissenschaftliches Rechnen [geschlossen]

Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 5 Jahren . Es scheint, als ob in den meisten Sprachen …

10 efficiency statistics tools knowledge-base machine-learning neural-network deep-learning optimization hyperparameter machine-learning time-series categorical-data logistic-regression python visualization bigdata efficiency classification binary svm random-forest logistic-regression data-mining sql experiments bigdata efficiency performance scalability distributed bigdata nlp statistics education knowledge-base definitions machine-learning recommender-system evaluation efficiency algorithms parameter efficiency scalability sql statistics visualization knowledge-base education machine-learning r python r text-mining sentiment-analysis machine-learning machine-learning python neural-network statistics reference-request machine-learning data-mining python classification data-mining bigdata usecase apache-hadoop map-reduce aws education feature-selection machine-learning machine-learning sports data-formats hierarchical-data-format bigdata apache-hadoop bigdata apache-hadoop python visualization knowledge-base classification confusion-matrix accuracy bigdata apache-hadoop bigdata efficiency apache-hadoop distributed machine-translation nlp metadata data-cleaning text-mining python pandas machine-learning python pandas scikit-learn bigdata machine-learning databases clustering data-mining recommender-system

1

Verwenden von RNN (LSTM) für das Gestenerkennungssystem

Ich versuche, ein Gestenerkennungssystem zum Klassifizieren von ASL- Gesten (American Sign Language) zu erstellen. Daher soll meine Eingabe eine Folge von Bildern entweder von einer Kamera oder einer Videodatei sein, dann erkennt es die Folge und ordnet sie der entsprechenden zu Klasse (schlafen, helfen, essen, rennen usw.) Die Sache ist, …

10 neural-network deep-learning keras rnn lstm

5

Unüberwachte Bildsegmentierung

Ich versuche, einen Algorithmus zu implementieren, bei dem bei einem gegebenen Bild mit mehreren Objekten auf einer Ebenentabelle die Ausgabe von Segmentierungsmasken für jedes Objekt erwünscht ist. Im Gegensatz zu CNNs besteht das Ziel hier darin, Objekte in einer unbekannten Umgebung zu erkennen. Was sind die besten Ansätze für dieses …

10 machine-learning deep-learning cnn computer-vision object-detection

1

Keras LSTM mit 1D-Zeitreihen

Ich lerne, wie man Keras verwendet, und ich habe mit meinem beschrifteten Datensatz anhand der Beispiele in Chollets Deep Learning für Python vernünftigen Erfolg gehabt . Der Datensatz ist ~ 1000 Zeitreihen mit einer Länge von 3125 mit 3 möglichen Klassen. Ich möchte über die grundlegenden dichten Schichten hinausgehen, die …

10 python deep-learning time-series lstm rnn

1

Was ist der „neuartige Verstärkungslernalgorithmus“ in AlphaGo Zero?

Aus irgendeinem Grund wird AlphaGo Zero trotz seiner unglaublichen Ergebnisse nicht so bekannt wie das ursprüngliche AlphaGo. Von Grund auf neu, hat es AlphaGo Master bereits geschlagen und zahlreiche andere Benchmarks bestanden. Noch unglaublicher ist, dass dies in 40 Tagen erledigt ist. Google nennt es "wohl den besten Go-Spieler der …

10 machine-learning deep-learning

1

Umformung von Daten für Deep Learning mit Keras

Ich bin ein Anfänger von Keras und habe mit dem MNIST-Beispiel begonnen, um zu verstehen, wie die Bibliothek tatsächlich funktioniert. Das Codefragment des MNIST-Problems im Keras-Beispielordner lautet wie folgt: import numpy as np np.random.seed(1337) # for reproducibility from keras.datasets import mnist from keras.models import Sequential from keras.layers import Dense, Dropout, …

10 python neural-network deep-learning keras

1

AutoEncoder transformieren

Ich habe gerade Geoff Hintons Artikel über die Transformation von Autoencodern gelesen Hinton, Krizhevsky und Wang: Auto-Encoder transformieren . In Künstlichen Neuronalen Netzen und Maschinellem Lernen, 2011. und würde gerne mit so etwas herumspielen. Aber nachdem ich es gelesen hatte, konnte ich nicht genug Details aus dem Papier bekommen, wie …

10 neural-network deep-learning autoencoder

2

Sortieren Sie Zahlen mit nur 2 versteckten Ebenen

Ich lese das Eckpfeiler Sequence to Sequence Learning mit neuronalen Netzen von Ilya Sutskever und Quoc Le. Auf der ersten Seite wird kurz erwähnt, dass: A surprising example of the power of DNNs is their ability to sort N N-bit numbers using only 2 hidden layers of quadratic size Kann …

10 deep-learning

4

Warum beschleunigt es den Gradientenabstieg, wenn die Funktion flüssig ist?

Ich habe jetzt ein Buch mit dem Titel "Praktisches maschinelles Lernen mit Scikit-Learn und TensorFlow" gelesen und in Kapitel 11 die folgende Beschreibung zur Erklärung von ELU (Exponential ReLU). Drittens ist die Funktion überall flüssig, auch um z = 0, was den Gradientenabstieg beschleunigt, da sie links und rechts von …

10 deep-learning gradient-descent

1

Warum kann TensorFlow kein einfaches lineares Modell anpassen, wenn ich den absoluten mittleren Fehler anstelle des mittleren quadratischen Fehlers minimiere?

In der Einführung habe ich mich gerade geändert loss = tf.reduce_mean(tf.square(y - y_data)) zu loss = tf.reduce_mean(tf.abs(y - y_data)) und das Modell kann nicht lernen, dass der Verlust mit der Zeit immer größer wurde. Warum?

10 neural-network deep-learning tensorflow

2

Relu hat per Definition einen Gradienten von 0, warum ist das Verschwinden des Gradienten dann kein Problem für x <0?

Per Definition ist Relu max(0,f(x)). Dann ist sein Gradient definiert als : 1 if x > 0 and 0 if x < 0. Würde dies nicht bedeuten, dass der Gradient immer 0 ist (verschwindet), wenn x <0 ist? Warum sagen wir dann, dass Relu nicht unter dem Problem des Verschwindens …

10 deep-learning

1

SO WIRD'S GEMACHT: Deep Initialisierung des neuronalen Netzwerks

Angesichts schwieriger Lernaufgaben (z. B. hohe Dimensionalität, inhärente Datenkomplexität) sind tiefe neuronale Netze schwer zu trainieren. Um viele der Probleme zu lösen, könnte man: Normalisieren Sie && Handpick- Qualitätsdaten Wählen Sie einen anderen Trainingsalgorithmus (z. B. RMSprop anstelle von Gradient Descent). Wählen Sie einen steileren Gradienten Kostenfunktion (z. B. Cross …

10 machine-learning neural-network deep-learning randomized-algorithms

1

Wie berechne ich den Delta-Term einer Faltungsschicht unter Berücksichtigung der Delta-Terme und Gewichte der vorherigen Faltungsschicht?

Ich versuche, ein künstliches neuronales Netzwerk mit zwei Faltungsschichten (c1, c2) und zwei verborgenen Schichten (c1, c2) zu trainieren. Ich verwende den Standard-Backpropagation-Ansatz. Im Rückwärtsdurchlauf berechne ich den Fehlerterm einer Schicht (Delta) basierend auf dem Fehler der vorherigen Schicht, den Gewichten der vorherigen Schicht und dem Gradienten der Aktivierung in …

10 machine-learning data-mining neural-network deep-learning

Als «deep-learning» getaggte Fragen