Statistiken und Big Data conv-neural-network

1

Ich lerne über Deep Learning (insbesondere CNNs) und wie es normalerweise sehr viele Daten erfordert, um eine Überanpassung zu verhindern. Mir wurde jedoch auch gesagt, dass je höher die Kapazität / mehr Parameter eines Modells sind, desto mehr Daten erforderlich sind, um eine Überanpassung zu verhindern. Daher lautet meine Frage: …

9 machine-learning neural-networks deep-learning conv-neural-network

2

1D-Faltung in neuronalen Netzen

Ich verstehe, wie Faltung funktioniert, aber ich verstehe nicht, wie 1D-Faltungen auf 2D-Daten angewendet werden. In diesem Beispiel sehen Sie eine 2D-Faltung in 2D-Daten. Aber wie wäre es, wenn es eine 1D-Faltung wäre? Nur ein 1D-Kernel, der auf die gleiche Weise gleitet? Und wenn der Schritt 2 war? Vielen Dank!

9 conv-neural-network

2

Rezeptives Feld von Neuronen in LeNet

Ich versuche, die Rezeptionsfelder von CNN besser zu verstehen. Dazu möchte ich das Empfangsfeld jedes Neurons in LeNet berechnen. Für ein normales MLP ist es ziemlich einfach (siehe http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), aber es ist schwieriger, das Empfangsfeld eines Neurons in einer Schicht nach einer oder mehreren Faltungsschichten und zu berechnen Schichten …

9 deep-learning conv-neural-network

1

Was sind die Unterschiede zwischen Filtern, die im Autoencoder und im Faltungsnetzwerk gelernt wurden?

In CNN lernen wir Filter, um eine Feature-Map in einer Faltungsschicht zu erstellen. In Autoencoder kann die einzelne verborgene Einheit jeder Ebene als Filter betrachtet werden. Was ist der Unterschied zwischen den Filtern, die in diesen beiden Netzwerken gelernt wurden?

9 machine-learning neural-networks conv-neural-network autoencoders

1

Was ist eine dichte Vorhersage beim Deep Learning?

Ich verwende TensorFlows vorab trainiertes Modell des Convolutional Neural Network. https://github.com/tensorflow/models/blob/master/slim/nets/resnet_v2.py#L130 Ich habe folgenden Satz gefunden: Für dichte Vorhersageaufgaben empfehlen wir jedoch, Eingaben mit räumlichen Dimensionen zu verwenden, die ein Vielfaches von 32 plus 1 sind, z. B. [321, 321]. Weiß jemand, was dichte Vorhersage in dieser Literatur ist?

9 neural-networks conv-neural-network

2

Unterschied zwischen Conv- und FC-Schichten?

Was ist der Unterschied zwischen Conv-Schichten und FC-Schichten ? Warum kann ich keine Conv-Ebenen anstelle von FC-Ebenen verwenden ?

9 neural-networks conv-neural-network convolution

1

Wie kann man eine Überanpassung im Faltungs-Neuronalen Netz identifizieren?

Ich verstehe, dass Dropout verwendet wird, um Überanpassungen im Netzwerk zu reduzieren. Dies ist eine Verallgemeinerungstechnik. Wie kann ich im Faltungsnetzwerk eine Überanpassung erkennen? Eine Situation, an die ich denken kann, ist, wenn die Trainingsgenauigkeit im Vergleich zur Test- oder Validierungsgenauigkeit zu hoch ist. In diesem Fall versucht das Modell, …

9 machine-learning overfitting conv-neural-network dropout

2

Identifizierbarkeit neuronaler Netzwerkmodelle

Es ist ziemlich intuitiv, dass die meisten Topologien / Architekturen neuronaler Netze nicht identifizierbar sind. Aber was sind einige bekannte Ergebnisse auf diesem Gebiet? Gibt es einfache Bedingungen, die eine Identifizierbarkeit ermöglichen / verhindern? Zum Beispiel, Alle Netzwerke mit nichtlinearen Aktivierungsfunktionen und mehr als einer verborgenen Schicht sind nicht identifizierbar …

8 neural-networks conv-neural-network rnn identifiability

2

Gibt es Möglichkeiten, mit dem verschwindenden Gradienten für die Sättigung von Nichtlinearitäten umzugehen, bei denen keine Chargennormalisierung oder ReLu-Einheiten erforderlich sind?

Ich wollte ein Netzwerk mit Nichtlinearitäten trainieren, die unter dem Verschwinden leiden (oder dem explodierenden Gradientenproblem, obwohl es hauptsächlich verschwindet). Ich weiß, dass die (derzeitige) Standardmethode darin besteht, die Chargennormalisierung 1 [BN] 1 zu verwenden oder einfach die Nichtlinearität aufzugeben und ReLu- Gleichrichter- / ReLu- Einheiten zu verwenden. Ich wollte …

8 machine-learning neural-networks conv-neural-network batch-normalization

1

Enthält ein optimal entworfenes neuronales Netzwerk beim Training keine „toten“ ReLU-Neuronen?

Sollte ich mein neuronales Netzwerk im Allgemeinen mit weniger Neuronen neu trainieren, damit es weniger tote ReLU-Neuronen hat? Ich habe widersprüchliche Meinungen über tote ReLUs gelesen. Einige Quellen sagen, dass tote ReLUs gut sind, weil sie die Sparsamkeit fördern. Andere sagen, dass sie schlecht sind, weil tote ReLUs für immer …

8 machine-learning neural-networks conv-neural-network

3

Numerische Gradientenprüfung: Wie nah ist nah genug?

Ich habe ein neuronales Faltungsnetzwerk erstellt und wollte mithilfe der numerischen Gradientenprüfung überprüfen, ob meine Gradienten korrekt berechnet werden. Die Frage ist, wie nah ist nah genug? Meine Überprüfungsfunktion spuckt nur die berechnete Ableitung, die numerisch angenäherte Ableitung, die Differenz zwischen den beiden aus und ob die beiden Werte das …

8 neural-networks conv-neural-network gradient

1

Patch-Wise-Training und vollständig Faltungs-Training in einem vollständig Faltungs-Neuronalen Netzwerk

In der Arbeit über ein vollständig faltungsorientiertes neuronales Netzwerk erwähnen die Autoren sowohl das Patch-weise Training als auch das vollständig faltungsorientierte Training. Mein Verständnis für den Aufbau des Trainingssets ist wie folgt: M*MExtrahieren Sie bei einem gegebenen Bild Unterbilder mit N*N, wobei ( N<M). Die ausgewählten Teilbilder überlappen sich untereinander. …

8 machine-learning deep-learning data-mining conv-neural-network computer-vision

4

Was sind die aktuellen Faltungs-Neuronalen Netze auf dem neuesten Stand der Technik?

Ich bin daran interessiert zu verstehen, welche neuronale Netzwerkarchitektur derzeit auf dem neuesten Stand der Technik (manchmal mit "SOTA" abgekürzt) in Bezug auf Standardbildklassifizierungsaufgaben wie MNIST, STLN-10 und CIFAR ist. Dies ist eine Herausforderung, da häufig neue Ergebnisse veröffentlicht werden und es schwierig sein kann, Schritt zu halten. Gibt es …

7 neural-networks references conv-neural-network

2

Verwendung nicht rechteckiger Kernel in Faltungs-Neuronalen Netzen? Besonders bei der Analyse von Spielbrettern

Ich habe einen Stapel von Artikeln über Faltungsnetzwerke und das Lernen der Verstärkung gelesen. Ich erinnere mich an ein wichtiges Papier mit einer nicht rechteckigen Form der Faltungsschicht (die grüne Form in dieser albernen Zeichnung). Aber jetzt kann ich es nicht finden. Es könnte etwas Ähnliches wie das AlphaGo-Papier oder …

7 references conv-neural-network reinforcement-learning

1

Wie gruppiert ein U-Net Pixel in einen einzelnen räumlichen Bereich?

Das als " U-Net " bekannte neuronale Netzwerk (Ronneberger, Fischer und Brox 2015) war eine herausragende Technik in Kaggles jüngstem Ultraschall- Nervensegmentierungswettbewerb , bei dem Algorithmen, die Pixelmasken mit einem hohen Grad an Überlappung mit erzeugten, hohe Punktzahlen verliehen wurden die handgezeichneten Regionen. (Foto von Christopher Hefele ) Wenn man …

7 neural-networks deep-learning biostatistics conv-neural-network image-processing

Als «conv-neural-network» getaggte Fragen