Statistiken und Big Data deep-learning

1

Reduzierung der nichtlinearen Dimensionalität: geometrische / topologische Algorithmen im Vergleich zu Autoencodern

Soweit ich weiß, gibt es drei Hauptansätze zur Reduzierung der nichtlinearen Dimensionalität: Vielfältiges Lernen (geometrische / topologische Algorithmen wie ISOMAP, LLE, LTSA) Autoencoder Dinge, die nicht in die ersten beiden Kategorien passen (wahrscheinlichkeitsinspiriertes t-SNE, Kernel-PCA usw.) Was sind die Vor- und Nachteile der ersten beiden Ansätze? Kann man denken, dass …

7 machine-learning deep-learning dimensionality-reduction autoencoders manifold-learning

1

Wie gruppiert ein U-Net Pixel in einen einzelnen räumlichen Bereich?

Das als " U-Net " bekannte neuronale Netzwerk (Ronneberger, Fischer und Brox 2015) war eine herausragende Technik in Kaggles jüngstem Ultraschall- Nervensegmentierungswettbewerb , bei dem Algorithmen, die Pixelmasken mit einem hohen Grad an Überlappung mit erzeugten, hohe Punktzahlen verliehen wurden die handgezeichneten Regionen. (Foto von Christopher Hefele ) Wenn man …

7 neural-networks deep-learning biostatistics conv-neural-network image-processing

1

Was ist ein Beispiel für die Verwendung der automatischen Differenzierung, wie sie in Tensorflow implementiert ist, und warum ist sie wichtig?

Ich habe ein gutes Verständnis für neuronale Netze, Rückausbreitung und Kettenregeln, aber ich habe Schwierigkeiten, die automatische Differenzierung zu verstehen. Das Folgende bezieht sich auf die automatische Differenzierung außerhalb des Kontextes der Rückausbreitung: Wie berechnet die automatische Differenzierung den Gradienten aus einer Matrix? Was sind die Voraussetzungen, um einen Gradienten …

7 machine-learning neural-networks deep-learning tensorflow automatic-differentiation

2

Wie berechnet die Chargennormalisierung die Bevölkerungsstatistik nach dem Training?

Ich habe das Papier zur Chargennormalisierung (BN) (1) gelesen und es stand: Zu diesem Zweck verwenden wir nach dem Training des Netzwerks die Normalisierung Verwendung der Grundgesamtheit anstelle von mini -Batch, Statistiken.x^=x - E.[ x ]V.a r [ x ] + ϵ- -- -- -- -- -- -- -- -√x^=x- …

7 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

1

Was ist der Mittelwert Null und die Einheitsvarianz in Bezug auf Bilddaten?

Ich bin neu im tiefen Lernen. Ich versuche einige Konzepte zu verstehen. Ich weiß, dass "Mittelwert" ein Durchschnittswert ist und "Varianz" eine Abweichung vom Mittelwert ist. Ich habe einige Forschungsarbeiten gelesen, alle sagen, dass wir unsere Daten zuerst vorverarbeiten. Aber wie hängen diese Konzepte mit der Bildvorverarbeitung zusammen? Warum werden …

7 classification variance mean deep-learning image-processing

6

Ist es sinnvoll, neuronale Netze ohne mathematische Ausbildung zu studieren?

Angesichts des modernen Zustands der Technologien und Werkzeuge für maschinelles Lernen (z. B. TensorFlow, Theano usw.) scheint die Einstiegsschwelle in letzter Zeit gesunken zu sein, und es reicht aus, beispielsweise auf Python programmieren zu können, um interessante Dinge zu erstellen. Eine weitere Quelle, die diesen Punkt unterstützt, ist die Spezialisierung …

7 machine-learning neural-networks deep-learning

2

Umgang mit kleinen Losgrößen im SGD-Training

Ich versuche, ein großes Modell (tiefes Netz mit Kaffee) mit stochastischem Gradientenabstieg (SGD) zu trainieren. Das Problem ist, dass ich durch meine GPU-Speicherkapazität eingeschränkt bin und daher keine großen Mini-Batches für jede stochastische Gradientenschätzung verarbeiten kann. Wie kann ich diese Instabilität in meinem Training überwinden? Ein Gedanke, den ich hatte, …

7 machine-learning neural-networks deep-learning gradient-descent sgd

4

Neue Objektklasse in Deep Learning Network hinzufügen

Angenommen, ich habe ein geschultes Deep-Learning-Netzwerk, das 10 Klassen von Objekten (Straße, Himmel, Baum usw.) in Bildern erkennen kann. Es nimmt RGB-Bilder auf und gibt eine Wahrscheinlichkeitskarte der Größe aus (img_col, img_row, n_class), und die endgültige Segmentierung ist eine argmaxOperation über die letzte Dimension. Jetzt möchte ich dem Netzwerk eine …

7 machine-learning deep-learning image-processing

2

Ressourcen für den Einstieg in das vertiefte Lernen

Angenommen, der Lernende beherrscht künstliche neuronale Netze und verfügt über einen Hintergrund im Bereich des verstärkten Lernens. Was sind einige gute Ressourcen (Bücher / Videos / Papiere / GitHub-Repo / etc.), Um mit dem vertieften Lernen zu beginnen?

7 neural-networks references deep-learning reinforcement-learning

2

Gewichtsnormalisierungstechnik, die bei der Bildstilübertragung verwendet wird

Ich versuche, die Papier- Bildstilübertragung mithilfe von Faltungs-Neuronalen Netzen zu implementieren . In Abschnitt 2 - Tiefenbilddarstellungen erwähnen die Autoren die folgende Technik zur Gewichtsnormalisierung: Wir haben das Netzwerk normalisiert, indem wir die Gewichte so skaliert haben, dass die mittlere Aktivierung jedes Faltungsfilters über Bildern und Positionen gleich eins ist. …

6 neural-networks deep-learning conv-neural-network normalization

1

Einige Klarstellungen zu Faltungs-Neuronalen Netzen

Lesen Sie unter http://cs231n.github.io/convolutional-networks/#convert , wie Sie die vollständig verbundene Schicht in eine Faltungsschicht umwandeln . Ich bin nur verwirrt über die folgenden zwei Kommentare: Es stellt sich heraus, dass diese Konvertierung es uns ermöglicht, das ursprüngliche ConvNet in einem einzigen Vorwärtsdurchlauf sehr effizient über viele räumliche Positionen in einem …

6 machine-learning neural-networks deep-learning conv-neural-network

Als «deep-learning» getaggte Fragen