Statistiken und Big Data neural-networks

3

Ist die Kreuzentropiekostenfunktion für ein neuronales Netzwerk konvex?

Mein Lehrer hat bewiesen, dass das 2. Derivat der Kreuzentropie immer positiv ist, so dass die Kostenfunktion neuronaler Netze mit Kreuzentropie konvex ist. Ist das wahr? Ich bin ziemlich verwirrt darüber, weil ich immer gelernt habe, dass die Kostenfunktion von ANN nicht konvex ist. Kann jemand das bestätigen? Vielen Dank! …

9 neural-networks convex

1

Umgang mit sich ändernden Eingangsvektorlängen mit neuronalen Netzen

Ich möchte ein neuronales Netzwerk mit einer Zeichenfolge als Eingabevektor trainieren. Lernbeispiele sind unterschiedlich lang und aus diesem Grund weiß ich nicht, wie ich sie darstellen soll. Angenommen, ich habe zwei Beispiele für Sequenzen, hier Namen: john doe maurice delanoe Das erste Beispiel hat die Länge 8, das zweite die …

9 machine-learning neural-networks feature-selection natural-language

1

Überanpassung des neuronalen Netzes

Ich habe gelernt, dass eine Überanpassung erkannt werden kann, indem der Trainingsfehler und der Testfehler gegen die Epochen aufgetragen werden. Wie in: Ich habe diesen Blogpost gelesen, in dem sie sagen, dass das neuronale Netzwerk net5 überpasst und sie diese Zahl liefern: Was für mich seltsam ist, da der Validierungs- …

9 neural-networks overfitting

2

Anhaltende kontrastive Divergenz für RBMs

Wenn wir den persistenten CD-Lernalgorithmus für eingeschränkte Bolzmann-Maschinen verwenden, starten wir unsere Gibbs-Abtastkette in der ersten Iteration an einem Datenpunkt, aber im Gegensatz zur normalen CD beginnen wir in den folgenden Iterationen nicht über unserer Kette. Stattdessen beginnen wir dort, wo die Gibbs-Abtastkette in der vorherigen Iteration endete. Beim normalen …

9 machine-learning neural-networks rbm

3

Muss die auf neuronalen Netzen basierende Klassifizierung reduziert werden?

Ich verwende einen auf neuronalen Netzen basierenden Klassifizierer, um eine Klassifizierung für meine Daten in n-dimensional durchzuführen. Dann dachte ich, es wäre vielleicht eine gute Idee, zuerst eine Dimensionsreduzierung wie PCA für meine Daten durchzuführen und dann die PCA-Ergebnisse in den Klassifikator zu schreiben (ich behalte 3 PCs). Die Klassifizierung …

9 pca neural-networks

2

Kann ein GAN zur Datenerweiterung verwendet werden?

Kann ein generatives kontradiktorisches Netzwerk (GAN) zur Datenerweiterung verwendet werden (dh um synthetische Beispiele zu generieren, die einem Datensatz hinzugefügt werden)? Würde sich dies auf die Leistung eines Modells auswirken, das auf dem erweiterten Datensatz trainiert wurde?

9 machine-learning neural-networks gan data-augmentation

2

Unterschied zwischen Conv- und FC-Schichten?

Was ist der Unterschied zwischen Conv-Schichten und FC-Schichten ? Warum kann ich keine Conv-Ebenen anstelle von FC-Ebenen verwenden ?

9 neural-networks conv-neural-network convolution

1

Was bedeuten die Begriffe "dicht" und "spärlich" im Zusammenhang mit neuronalen Netzen?

Was bedeuten die Begriffe "dicht" und "dünn" im Zusammenhang mit neuronalen Netzen (NNs)? Was ist der Unterschied zwischen ihnen? Warum heißen sie so?

9 neural-networks terminology definition

1

Unterschied zwischen Naive Bayes und Recurrent Neural Network (LSTM)

Ich möchte eine Stimmungsanalyse für Text durchführen, habe mehrere Artikel durchgesehen, einige verwenden "Naive Bayes" und andere sind "Recurrent Neural Network (LSTM)" , andererseits habe ich eine Python-Bibliothek für die Stimmungsanalyse gesehen, die ist nltk. Es verwendet "Naive Bayes". Kann jemand erklären, was der Unterschied zwischen der Verwendung der beiden …

8 machine-learning neural-networks python natural-language

1

Definition der Softmax-Funktion

Diese Frage wird unter stats.stackexchange.com/q/233658 beantwortet Das logistische Regressionsmodell für die Klassen {0, 1} lautet P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Diese Wahrscheinlichkeiten summieren sich eindeutig zu 1. Durch Setzen von …

8 logistic neural-networks multinomial-logit softmax identifiability

2

Ist eine geringe Verzerrung in einer Stichprobe ein Synonym für eine hohe Varianz?

Ist das Folgende wahr? niedrige Vorspannung = hohe Varianz hohe Vorspannung = niedrige Varianz Ich verstehe hohe und niedrige Vorurteile, aber wie unterscheidet sich die Varianz? Oder sind die oben genannten Synonyme?

8 machine-learning neural-networks variance sampling bias

3

Gilt der universelle Approximationssatz für neuronale Netze für eine Aktivierungsfunktion?

Gilt der universelle Approximationssatz für neuronale Netze für eine Aktivierungsfunktion (Sigmoid, ReLU, Softmax usw.) oder ist er auf Sigmoidfunktionen beschränkt? Update: Wie Shimao in den Kommentaren hervorhebt, gilt es für absolut keine Funktion. Für welche Klasse von Aktivierungsfunktionen gilt dies?

8 neural-networks approximation

2

Identifizierbarkeit neuronaler Netzwerkmodelle

Es ist ziemlich intuitiv, dass die meisten Topologien / Architekturen neuronaler Netze nicht identifizierbar sind. Aber was sind einige bekannte Ergebnisse auf diesem Gebiet? Gibt es einfache Bedingungen, die eine Identifizierbarkeit ermöglichen / verhindern? Zum Beispiel, Alle Netzwerke mit nichtlinearen Aktivierungsfunktionen und mehr als einer verborgenen Schicht sind nicht identifizierbar …

8 neural-networks conv-neural-network rnn identifiability

2

Wie wichtig ist die Basiserweiterung für tiefe Netze?

Wenn tiefe neuronale Netze als universelle Funktionsapproximatoren betrachtet werden, ist eine Basiserweiterung wirklich notwendig? Oder wäre dies fallspezifisch? Wenn man beispielsweise drei quantitative X-Variablen hat, wäre es dann von Vorteil, die Anzahl der Variablen durch Einführung von Wechselwirkungen, Polynomen usw. zu erweitern? Dies scheint beispielsweise bei RFs und SVM von …

8 neural-networks deep-learning feature-construction

1

Warum wird sqrt (6) verwendet, um epsilon für die zufällige Initialisierung neuronaler Netze zu berechnen?

In den Vorlesungsunterlagen der 5. Woche für Andrew Ngs Coursera Machine Learning Class wird die folgende Formel zur Berechnung des Werts von der zum Initialisieren von mit zufälligen Werten verwendet wird:ϵϵ\epsilonΘΘ\Theta In der Übung werden weitere Erläuterungen gegeben: Eine effektive Strategie für die Auswahl von besteht darin, sie auf der …

8 machine-learning neural-networks random-generation

Als «neural-networks» getaggte Fragen