Statistiken und Big Data machine-learning

3

Verwenden von PCA für einen Bilddatensatz vor der Klassifizierung mit einem neuronalen Netzwerk

Ich habe eine Bilddatenmatrix X∈RN x pX∈ℜN x pX \in \Re^{N \ \text{x}\ p} wo N=50000N=50000N=50000 ist die Anzahl der Bildbeispiele und p=3072p=3072p=3072 ist die Anzahl der Bildpixel: p=3072=32×32×3p=3072=32×32×3p = 3072 = 32 \times 32 \times 3, weil jedes Bild ein 3-Kanal ist 32×3232×3232 \times 32Bild. Darüber hinaus gehört jedes …

7 machine-learning classification neural-networks pca image-processing

1

Sollten wir den Intercept-Term bei der Kernelisierung von Algorithmen berücksichtigen?

Wenn ein Lernalgorithmus (z. B. Klassifizierung, Regression, Clustering oder Dimensionsreduktion) nur das Punktprodukt zwischen Datenpunkten verwendet xxT.xxT.\mathbf {x x^T} Wir können implizit eine höherdimensionale Abbildung verwenden ϕ ( x )ϕ(x)\phi(\mathbf x) Durch den Kernel-Trick wird jede Instanz ausgetauscht, in der das Punktprodukt vom Kernel auftritt K =ϕ( x )ϕ( x)T.K.=ϕ(x)ϕ(x)T.\mathbf …

7 regression machine-learning classification kernel-trick

1

Was ist ein Beispiel für die Verwendung der automatischen Differenzierung, wie sie in Tensorflow implementiert ist, und warum ist sie wichtig?

Ich habe ein gutes Verständnis für neuronale Netze, Rückausbreitung und Kettenregeln, aber ich habe Schwierigkeiten, die automatische Differenzierung zu verstehen. Das Folgende bezieht sich auf die automatische Differenzierung außerhalb des Kontextes der Rückausbreitung: Wie berechnet die automatische Differenzierung den Gradienten aus einer Matrix? Was sind die Voraussetzungen, um einen Gradienten …

7 machine-learning neural-networks deep-learning tensorflow automatic-differentiation

2

Warum alle Parameter auf die gleiche Weise regulieren?

Meine Frage bezieht sich auf die Regularisierung in der linearen Regression und der logistischen Regression. Ich mache gerade Woche 3 von Andrew Ngs Kurs über maschinelles Lernen auf Coursera. Ich verstehe, wie Überanpassung ein häufiges Problem sein kann, und ich habe eine gewisse Intuition dafür, wie Regularisierung Überanpassung reduzieren kann. …

7 regression machine-learning regularization overfitting

1

Der beste Weg, um einen durchschnittlichen F-Score mit unausgeglichenen Klassen zu erzielen

Ich habe einen Datensatz mit unausgeglichenen Klassen. Drei Klassen machen etwa 60% der Daten aus. Außerdem habe ich verschiedene Testaufteilungen, die ein Ungleichgewicht verursachen. Zum Beispiel: Zugset: label_1 ... label_n Testsatz: label_1, label_3, label_9 Dies bedeutet, dass obwohl ich nur 3 Etiketten in meinem Testsatz habe, diese möglicherweise als 1 …

7 machine-learning scikit-learn average unbalanced-classes

1

Nichtparametrische nichtlineare Regression mit Vorhersageunsicherheit (neben Gaußschen Prozessen)

Was sind die neuesten Alternativen zu Gaußschen Prozessen (GP) für nichtparametrische nichtlineare Regression mit Vorhersageunsicherheit, wenn die Größe des Trainingssatzes für Vanille-Allgemeinmediziner unerschwinglich wird, aber immer noch nicht sehr groß ist? Details meines Problems sind: Der Eingaberaum ist niedrigdimensional (X⊆RdX⊆Rd\mathcal{X} \subseteq \mathbb{R}^dmit 2≤d≤202≤d≤202\le d \le 20) Ausgabe ist reellwertig (Y⊆RY⊆R\mathcal{Y} …

7 regression machine-learning bayesian nonparametric gaussian-process

2

Wie berechnet die Chargennormalisierung die Bevölkerungsstatistik nach dem Training?

Ich habe das Papier zur Chargennormalisierung (BN) (1) gelesen und es stand: Zu diesem Zweck verwenden wir nach dem Training des Netzwerks die Normalisierung Verwendung der Grundgesamtheit anstelle von mini -Batch, Statistiken.x^=x - E.[ x ]V.a r [ x ] + ϵ- -- -- -- -- -- -- -- -√x^=x- …

7 machine-learning neural-networks deep-learning conv-neural-network batch-normalization

1

Ausreißererkennung: Bereich unter der Präzisionsrückrufkurve

Ich möchte Ausreißererkennungsalgorithmen vergleichen. Ich bin nicht sicher, ob der Bereich unter dem ROC oder unter der Präzisionsrückrufkurve das zu verwendende Maß ist. Ein schneller Test in Matlab bringt mir seltsame Ergebnisse. Ich versuche, die ROC- und PR-Werte für eine perfekte Klassifizierung zu erhalten: % true labels outlier = 1; …

7 machine-learning experiment-design roc precision-recall auc

2

Fourier-Transformation im maschinellen Lernen

Ich möchte wissen, in welchen spezifischen Bereichen Fourier-Methoden beim maschinellen Lernen eingesetzt werden. Neben der Merkmalsextraktion und der Spektralanalyse möchte ich wissen, ob es Lernalgorithmen gibt, die auf Fourier-Methoden basieren. Ich möchte auch wissen, ob es eine Motivation gibt, Fourier-Methoden für probabilistische grafische Modelle zu verwenden.

7 machine-learning probability fourier-transform

1

Lernfunktionsanalyse zum Studieren von Kerneln

Ich versuche mehr über die Kernel-Maschinentheorie zu lernen und habe festgestellt, dass ich viel Hintergrundmathematik lernen muss. Deshalb suche ich nach guten Ressourcen dafür. Insbesondere: Ich habe das Buch Learning with Kernels von Schölkopf und Smola und sie beginnen, Fourier-Transformationen, Green-Funktionen, Operatoren (z. B. habe ich noch nie von einem …

7 machine-learning self-study references kernel-trick

2

Auswahl vorheriger Parameter für die Variationsmischung von Gaußschen

Ich implementiere eine Vanille-Variationsmischung aus multivariaten Gaußschen gemäß Kapitel 10 von Mustererkennung und maschinelles Lernen (Bishop, 2007). Der Bayes'sche Ansatz erfordert die Angabe von (Hyper-) Parametern für den Gauß'schen inversen Wishart vor: α0α0\alpha_0 (Konzentrationsparameter des Dirichlet-Prior); ν0ν0\nu_0 (Freiheitsgrade einer inversen Wishart-Verteilung); β0β0\beta_0 (Pseudobeobachtungen für die Gauß-inverse Wishart-Verteilung); m0m0\mathbf{m}_0 (Mittelwert der …

7 machine-learning bayesian prior gaussian-mixture variational-bayes

6

Ist es sinnvoll, neuronale Netze ohne mathematische Ausbildung zu studieren?

Angesichts des modernen Zustands der Technologien und Werkzeuge für maschinelles Lernen (z. B. TensorFlow, Theano usw.) scheint die Einstiegsschwelle in letzter Zeit gesunken zu sein, und es reicht aus, beispielsweise auf Python programmieren zu können, um interessante Dinge zu erstellen. Eine weitere Quelle, die diesen Punkt unterstützt, ist die Spezialisierung …

7 machine-learning neural-networks deep-learning

2

Umgang mit kleinen Losgrößen im SGD-Training

Ich versuche, ein großes Modell (tiefes Netz mit Kaffee) mit stochastischem Gradientenabstieg (SGD) zu trainieren. Das Problem ist, dass ich durch meine GPU-Speicherkapazität eingeschränkt bin und daher keine großen Mini-Batches für jede stochastische Gradientenschätzung verarbeiten kann. Wie kann ich diese Instabilität in meinem Training überwinden? Ein Gedanke, den ich hatte, …

7 machine-learning neural-networks deep-learning gradient-descent sgd

3

Können Zwischenbelohnungen beim Lernen zur Stärkung verwendet werden?

Ist es in RL üblich, am Ende der Aufgabe nur eine Belohnung zu erhalten? Oder ist es auch möglich, Unteraufgaben / Zwischenziele einzuführen, damit das Feedback nicht so verzögert wird und mehr Belohnungen (Funktionen) erforderlich sind?

7 machine-learning reinforcement-learning

4

Neue Objektklasse in Deep Learning Network hinzufügen

Angenommen, ich habe ein geschultes Deep-Learning-Netzwerk, das 10 Klassen von Objekten (Straße, Himmel, Baum usw.) in Bildern erkennen kann. Es nimmt RGB-Bilder auf und gibt eine Wahrscheinlichkeitskarte der Größe aus (img_col, img_row, n_class), und die endgültige Segmentierung ist eine argmaxOperation über die letzte Dimension. Jetzt möchte ich dem Netzwerk eine …

7 machine-learning deep-learning image-processing

Als «machine-learning» getaggte Fragen