Statistiken und Big Data machine-learning

1

Hauptkomponentenanalyse Beseitigen Sie Rauschen in den Daten

Beseitigt die Hauptkomponentenanalyse (PCA) das Rauschen im Datensatz? Wenn PCA das Rauschen im Datensatz nicht beseitigt, was macht PCA dann tatsächlich mit dem Datensatz? Kann mir jemand in dieser Angelegenheit helfen?

11 machine-learning neural-networks pca noise

1

Was ist der Unterschied zwischen Würfel-, Jaccard- und Überlappungskoeffizienten? [geschlossen]

Geschlossen . Diese Frage erfordert Details oder Klarheit . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Fügen Sie Details hinzu und klären Sie das Problem, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 2 Jahren . Ich stoße auf drei verschiedene statistische Maße, um zwei Sätze zu …

11 machine-learning similarities dice segmentation jaccard-similarity

1

Anzahl der Hauptkomponenten bei der Vorverarbeitung mit PCA im Caret-Paket in R.

Ich verwende das caretPaket in Rfür das Training von binären SVM-Klassifikatoren. Zur Reduzierung von Funktionen verarbeite ich mit PCA die integrierte Funktion, preProc=c("pca")wenn ich anrufe train(). Hier sind meine Fragen: Wie wählt Caret Hauptkomponenten aus? Gibt es eine feste Anzahl von Hauptkomponenten, die ausgewählt werden? Werden Hauptkomponenten durch einen gewissen …

11 r machine-learning pca cross-validation caret

4

Ein Dirichlet-Prozessmodell verstehen und implementieren

Ich versuche, einen Dirichlet-Prozess zu implementieren und zu lernen, um meine Daten zu gruppieren (oder während die Leute beim maschinellen Lernen sprechen, schätzen Sie die Dichte). Ich habe viel Papier zu diesem Thema gelesen und bin irgendwie auf die Idee gekommen. Aber ich bin immer noch verwirrt; Hier sind eine …

11 machine-learning clustering dirichlet-process

2

Balancing Reconstruction vs KL Loss Variational Autoencoder

Ich trainiere einen bedingten Variations-Autoencoder für einen Datensatz von Gesichtern. Wenn ich meinen KLL-Verlust gleich meinem Rekonstruktionsverlust-Term setze, scheint mein Autoencoder nicht in der Lage zu sein, verschiedene Proben zu produzieren. Ich bekomme immer die gleichen Arten von Gesichtern: Diese Proben sind schrecklich. Wenn ich jedoch das Gewicht des KLL-Verlusts …

11 machine-learning computer-vision autoencoders

1

Warum führt Entropie als Fehlermaß zu einer Überanpassung?

In diesem Beitrag zu KDnuggets, in dem der Beitrag von John Langford zitiert wird, heißt es, dass Entropie und gegenseitige Information, wenn sie als Fehlermaßnahmen verwendet werden, zu einer Überanpassung führen können. Könnten Sie näher darauf eingehen?

11 machine-learning error overfitting entropy

1

Hauptkomponentenanalyse gegen Merkmalsauswahl

Ich mache ein maschinelles Lernprojekt mit WEKA. Es ist eine überwachte Klassifizierung und in meinen grundlegenden Experimenten habe ich ein sehr schlechtes Maß an Genauigkeit erreicht. Dann wollte ich eine Funktionsauswahl treffen, aber dann hörte ich von PCA. Bei der Merkmalsauswahl berücksichtigen wir eine Teilmenge von Attributen, die den größten …

11 machine-learning pca feature-selection weka

1

Wann sollte die Kreuzvalidierung nicht verwendet werden?

Während ich die Website durchlese, schlagen die meisten Antworten vor, dass eine Kreuzvalidierung in Algorithmen für maschinelles Lernen durchgeführt werden sollte. Als ich jedoch das Buch "Maschinelles Lernen verstehen" las, sah ich, dass es eine Übung gibt, bei der es manchmal besser ist, keine Kreuzvalidierung zu verwenden. Ich bin wirklich …

10 machine-learning self-study cross-validation

1

Ist der relative Kontrastsatz von Beyer et al. Papier: "Über das überraschende Verhalten von Distanzmetriken im hochdimensionalen Raum" irreführend?

Dies wird sehr oft zitiert, wenn der Fluch der Dimensionalität erwähnt wird und geht (rechte Formel genannt relativer Kontrast) limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxkd−DminkdDminkd→0limd→∞var(||Xd||kE[||Xd||k])=0,then:Dmaxdk−DmindkDmindk→0 \lim_{d\rightarrow \infty} \text{var} \left(\frac{||X_d||_k}{E[||X_d||_k]} \right) = 0, \text{then}: \frac{D_{\max^{k}_{d}} - D_{\min^{k}_{d}}}{D_{\min^{k}_{d}}} \rightarrow 0 Das Ergebnis des Theorems zeigt, dass die Differenz zwischen dem maximalen und dem minimalen Abstand zu einem …

10 machine-learning distance-functions high-dimensional

1

Warum sind meine zufälligen Waldergebnisse so variabel?

Ich versuche, die Fähigkeit von Random Forest zu testen, Stichproben zwischen zwei Gruppen zu klassifizieren. Es gibt 54 Stichproben und eine unterschiedliche Anzahl von Variablen, die zur Klassifizierung verwendet werden. Ich habe mich gefragt, warum die Out-of-Bag-Schätzungen (OOB) bis zu 5% voneinander abweichen können, selbst wenn ich 50.000 Bäume verwende. …

10 machine-learning random-forest

3

Was bedeuten Statistiker, wenn sie sagen, wir verstehen nicht wirklich, wie die LASSO (Regularisierung) funktioniert?

Ich war kürzlich bei einigen Statistikgesprächen über das Lasso (Regularisierung) und ein Punkt, der immer wieder auftaucht, ist, dass wir nicht wirklich verstehen, warum das Lasso funktioniert oder warum es so gut funktioniert. Ich frage mich, worauf sich diese Aussage bezieht. Natürlich verstehe ich, warum das Lasso technisch funktioniert, um …

10 machine-learning lasso regularization

1

Was rechtfertigt diese Berechnung der Ableitung einer Matrixfunktion?

In Andrew Ngs maschinellem Lernkurs verwendet er diese Formel: ∇EINt r ( A B A.T.C.) = C.A B + C.T.ABT.∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T und er macht einen schnellen Beweis, der unten gezeigt wird: ∇EINt r ( A B A.T.C.)= ∇EINt r ( f( A ) A.T.C.)= ∇∘t r …

10 machine-learning matrix derivative

4

Unterschied zwischen neuronalen Netzen und tiefem Lernen

In Bezug auf den Unterschied zwischen neuronalen Netzen und Deep Learning können wir verschiedene Elemente auflisten, z. B. mehr Ebenen, umfangreiche Datenmengen und leistungsstarke Computerhardware, um das Training komplizierter Modelle zu ermöglichen. Gibt es außerdem eine detailliertere Erklärung zum Unterschied zwischen NN und DL?

10 machine-learning neural-networks deep-learning conv-neural-network deep-belief-networks

2

Sind grafische Modelle und Boltzmann-Maschinen mathematisch miteinander verbunden?

Während ich im Physikunterricht tatsächlich einige Programmierungen mit Boltzmann-Maschinen durchgeführt habe, bin ich mit deren theoretischer Charakterisierung nicht vertraut. Im Gegensatz dazu kenne ich eine bescheidene Menge über die Theorie der grafischen Modelle (über die ersten Kapitel von Lauritzens Buch Graphical Models ). Frage: Gibt es eine sinnvolle Beziehung zwischen …

10 machine-learning neural-networks mathematical-statistics graphical-model rbm

5

Warum definiert f Beta Score Beta so?

Dies ist der F-Beta-Score: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} Der Wikipedia-Artikel besagt, dass .FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" Ich habe die Idee nicht bekommen. Warum …

10 machine-learning precision-recall model-evaluation

Als «machine-learning» getaggte Fragen