Data Science neural-network

4

Kann das Problem des verschwindenden Gradienten gelöst werden, indem die Eingabe von tanh mit einem Koeffizienten multipliziert wird?

Nach meinem Verständnis tritt das Problem des verschwindenden Gradienten beim Training neuronaler Netze auf, wenn der Gradient jeder Aktivierungsfunktion kleiner als 1 ist, so dass das Produkt dieser Gradienten sehr klein wird, wenn Korrekturen durch viele Schichten zurückpropagiert werden. Ich weiß, dass es andere Lösungen wie eine Gleichrichteraktivierungsfunktion gibt , …

7 machine-learning neural-network deep-learning activation-function

1

Wie kann die Form der Eingabe-Features festgelegt werden, wenn jede Datendatei unterschiedlich lang ist?

Um Hilfe zu verstehen mich die Vorteile und Nachteile der decision trees, KNN, Neural Networks, Ich wollte einen einfachen Klassifizierer , dass stuft in 2 Klassen (bauen Bird Soundund Non-Bird Sound) mit allen oben 3 Methoden. Also habe ich einen Sound-Datensatz von kaggle heruntergeladen und pysoundfile als Modul zum Lesen …

7 machine-learning python neural-network decision-trees k-nn

2

Neuronale Netzwerkarchitektur zum Identifizieren von Bildkopien

Ich habe eine große Bildersammlung und möchte die Bilder in dieser Sammlung identifizieren, die andere Bilder aus der Sammlung zu kopieren scheinen. Um Ihnen einen Eindruck von den Arten von Bildpaaren zu geben, die ich als Übereinstimmungen klassifizieren möchte, betrachten Sie bitte diese Beispiele: Ich habe ungefähr 0,25 Millionen Paare …

7 machine-learning neural-network convnet image-classification computer-vision

4

Merkmalsextraktion aus einem Streudiagramm

Angenommen, ich habe ein Streudiagramm wie dieses: Da ich viele Streudiagramme wie dieses habe, möchte ich eine Feature-Transformation durchführen, dh einen Squash (x,y)in einem einzelnen Term, der in ein NN eingegeben wird. Welche Transformation wie x/yoder (x/y)^2eine andere Transformation für diese Art von Diagrammen am besten geeignet ist, dh die …

7 machine-learning neural-network feature-extraction

1

Wie zeichnet man Faltungsdiagramme für neuronale Netze?

Ich muss ein ähnliches CNN-Diagramm zeichnen: Ich habe alle unter https://datascience.stackexchange.com/a/14900 genannten Tools ausprobiert , aber es gibt keine einfache Möglichkeit, dies zu tun. Gibt es eine automatisierte Möglichkeit, dies zu tun? Oder muss ich es manuell machen. Ist es außerdem möglich, dies zu zeichnen?: Ich fand http://alexlenail.me/NN-SVG/LeNet.html , in …

7 machine-learning neural-network deep-learning

1

Überschreiten Deep-Learning-Modelle die erforderliche Kapazität für die geschätzten Entropien ihrer Datensätze?

Diese Frage mag etwas seltsam erscheinen. Ich machte einige Selbststudien zur Informationstheorie und beschloss, weitere formale Untersuchungen zum Deep Learning durchzuführen. Bitte nehmen Sie mit, wenn ich versuche zu erklären. Ich nahm eine große "Trainings" -Untergruppe von MNIST als mein Meerschweinchen. 1) Konvertierte jedes Bild in MNIST in "Schwarzweiß" (Pixelwerte …

7 neural-network deep-learning information-theory

3

Welche neuronale Netzwerktopologie soll Korrelationen zwischen Zeitreihen lernen?

Ich habe zwei (oder mehr im Prinzip) 1xN-Zeitreihen und möchte eine NN trainieren, um den nächsten Wert von beiden vorherzusagen. Ich kann sie als 2xN-Matrix anordnen und ein Fenster aus dieser Matrix als Eingabe in das NN einspeisen, bin mir aber nicht sicher, wie ich das NN selbst strukturieren soll. …

7 machine-learning neural-network time-series correlation

1

Wie erhalte ich einen Konfidenzwert für Vorhersagen?

Ist es bei einem Regressionsproblem möglich, einen Vertrauens- / Zuverlässigkeitswert für eine bestimmte Vorhersage bei Modellen wie XGBoost oder Neuronalen Netzen zu berechnen?

7 machine-learning neural-network regression decision-trees xgboost

1

Warum ist eine undichte ReLU angesichts des Nullgradienten für x <0 nicht immer der ReLU vorzuziehen?

Es sieht für mich so aus, als ob die undichte ReLU eine viel bessere Leistung haben sollte, da die Standard-ReLU nicht die Hälfte ihres Speicherplatzes nutzen kann (x <0, wenn der Gradient Null ist). Dies ist jedoch nicht der Fall und in der Praxis verwenden die meisten Benutzer Standard-ReLU.

7 neural-network gradient-descent

1

Ist es nach der Trainingsphase besser, neuronale Netze auf einer GPU oder CPU auszuführen?

Mein Verständnis ist, dass GPUs effizienter für den Betrieb neuronaler Netze sind, aber kürzlich hat mir jemand vorgeschlagen, dass GPUs nur für die Trainingsphase benötigt werden. Einmal trainiert, ist es tatsächlich effizienter, sie auf CPUs auszuführen. Ist das wahr?

7 neural-network deep-learning gpu

1

Neuronales Netz mit flexibler Anzahl von Eingängen?

Ist es möglich, ein neuronales Netzwerk zu erstellen, das eine konsistente Ausgabe liefert, da die Eingabe in Vektoren unterschiedlicher Länge vorliegen kann? Ich bin derzeit in einer Situation, in der ich viele Audiodateien mit unterschiedlicher Länge abgetastet habe und ein neuronales Netzwerk trainieren muss, um bei einer bestimmten Eingabe die …

7 neural-network regression tensorflow supervised-learning audio-recognition

1

Backpropagation: Wäre bei Methoden zweiter Ordnung die ReLU-Ableitung 0? und wie wirkt es sich auf das Training aus?

ReLU ist eine Aktivierungsfunktion, definiert als wobei a = Wx + b .h=max(0,a)h=max(0,a)h = \max(0, a)a=Wx+ba=Wx+ba = Wx + b Normalerweise trainieren wir neuronale Netze mit Methoden erster Ordnung wie SGD, Adam, RMSprop, Adadelta oder Adagrad. Die Rückausbreitung in Verfahren erster Ordnung erfordert eine Ableitung erster Ordnung. Daher wird xxx …

7 neural-network optimization backpropagation

2

Aktualisieren des Bias und des Bias-Gewichts mithilfe des Backpropagation-Algorithmus

Ich schreibe meinen eigenen Trainingsalgorithmus, weiß aber nicht, wie ich das Bias-Gewicht einstellen soll. Muss ich in einer Ebene eine Vorspannung einstellen? Muss das Bias-Gewicht in jeder Schicht aktualisiert werden?

7 machine-learning neural-network backpropagation

1

Neuronale Netze: Kann ich sowohl Sigmoid als auch Tanh als Aktivierungsfunktionen verwenden?

Kann ich in einer neuronalen Netzwerkarchitektur die Sigmoid-Funktion in einigen Schichten und die Tanh-Funktion in den anderen verwenden? Ist es eine gute Wahl?

7 neural-network

1

Neuronale Netze: Wie werden Daten aus der realen Welt vorbereitet, um Ereignisse mit geringer Wahrscheinlichkeit zu erkennen?

Ich habe einen realen Datensatz von Kreditnehmern (50.000 Datensätze). Das Set enthält Kategorien wie Verheiratet, Single, Geschieden usw. sowie fortlaufende Daten wie Einkommen, Alter usw. Einige Datensätze sind unvollständig oder enthalten Ausreißer. Die abhängige Variable ist Standard / Gut (0,1). Wir versuchen, ein neuronales Netzwerk zu trainieren, um Standardwerte basierend …

7 machine-learning neural-network data-cleaning forecast

Als «neural-network» getaggte Fragen