Statistiken und Big Data classification

1

Reduzierung der Anzahl der Ebenen ungeordneter kategorialer Prädiktorvariablen

Ich möchte einen Klassifikator, z. B. SVM, eine zufällige Gesamtstruktur oder einen anderen Klassifikator trainieren. Eine der Funktionen im Datensatz ist eine kategoriale Variable mit 1000 Ebenen. Was ist der beste Weg, um die Anzahl der Ebenen in dieser Variablen zu reduzieren. In R gibt es eine Funktion combine.levels()im Hmisc- …

11 classification svm random-forest many-categories

2

Wie kann man ein Faltungsnetzwerk mit tiefem Glauben für die Audioklassifizierung verstehen?

In " Convolutional Deep Believe Networks für skalierbares unbeaufsichtigtes Lernen hierarchischer Repräsentationen " von Lee et. al. ( PDF ) Faltungs-DBNs werden vorgeschlagen. Auch das Verfahren wird zur Bildklassifizierung ausgewertet. Dies klingt logisch, da es natürliche lokale Bildmerkmale wie kleine Ecken und Kanten usw. gibt. In " Unüberwachtes Feature-Lernen für …

11 classification unsupervised-learning intuition deep-belief-networks

3

Warum müssen wir einen Klassifikator für k-nächste Nachbarn anpassen?

Wie ich verstanden habe, ist k-NN ein fauler Lernalgorithmus und benötigt keine Trainingsphase. Warum müssen wir .fit()sklearn verwenden und was passiert, wenn wir es verwenden?

11 classification scikit-learn k-nearest-neighbour

1

R / mgcv: Warum produzieren te () und ti () Tensorprodukte unterschiedliche Oberflächen?

Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich nicht verstehe, ist warum te(x1, x2)und ti(x1) + ti(x2) + ti(x1, x2)kann (leicht) unterschiedliche Ergebnisse …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

2

Maschinelles Lernen zum Lernen von Zeichenfolgenmustern

Ich habe eine Liste von Wörtern, die zu verschiedenen selbst definierten Kategorien gehören. Jede Kategorie hat ein eigenes Muster (zum Beispiel hat eine eine feste Länge mit Sonderzeichen, eine andere besteht aus Zeichen, die nur in dieser Kategorie von "Wörtern" vorkommen, ...). Zum Beispiel: "ABC" -> type1 "ACC" -> type1 …

11 machine-learning classification similarities supervised-learning

3

Klassifikator mit einstellbarer Präzision gegen Rückruf

Ich arbeite an einem Problem der binären Klassifizierung, bei dem es viel wichtiger ist, keine falsch positiven Ergebnisse zu erzielen. ziemlich viele falsche Negative sind in Ordnung. Ich habe zum Beispiel eine Reihe von Klassifikatoren in sklearn verwendet, aber ich denke, keiner von ihnen hat die Möglichkeit, den Kompromiss zwischen …

11 classification precision-recall

3

Was ist eine gute AUC für eine Präzisionsrückrufkurve?

Da ich einen sehr unausgewogenen Datensatz habe (9% positive Ergebnisse), entschied ich, dass eine Präzisionsrückrufkurve geeigneter ist als eine ROC-Kurve. Ich habe das analoge zusammenfassende Flächenmaß unter der PR-Kurve erhalten (.49, wenn Sie interessiert sind), bin mir aber nicht sicher, wie ich es interpretieren soll. Ich habe gehört, dass .8 …

11 classification precision-recall auc

1

Vorteile von Jeffries Matusita Entfernung

Laut einem Artikel, den ich lese, wird häufig der Abstand zwischen Jeffries und Matusita verwendet. Aber ich konnte nicht viele Informationen darüber finden, außer der folgenden Formel JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Es ähnelt dem euklidischen Abstand mit Ausnahme der Quadratwurzel E (x, y) =∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} Die JM-Entfernung soll hinsichtlich der Klassifizierung …

11 classification k-nearest-neighbour euclidean

1

Wie prognostizieren wir seltene Ereignisse?

Ich arbeite an der Entwicklung eines Vorhersagemodells für Versicherungsrisiken. Bei diesen Modellen handelt es sich um "seltene Ereignisse" wie No-Show-Vorhersage von Fluggesellschaften, Erkennung von Hardwarefehlern usw. Als ich meinen Datensatz vorbereitete, versuchte ich, eine Klassifizierung anzuwenden, konnte jedoch aufgrund des hohen Anteils negativer Fälle keine nützlichen Klassifizierer erhalten . Ich …

11 classification predictive-models scikit-learn poisson-process

1

So wählen Sie die Grenzwahrscheinlichkeit für eine logistische Regression für seltene Ereignisse

Ich habe 100.000 Beobachtungen (9 Dummy-Indikatorvariablen) mit 1000 positiven. Die logistische Regression sollte in diesem Fall gut funktionieren, aber die Cutoff-Wahrscheinlichkeit verwirrt mich. In der allgemeinen Literatur wählen wir einen Cutoff von 50%, um Einsen und Nullen vorherzusagen. Ich kann dies nicht tun, da mein Modell einen Maximalwert von ~ …

11 regression logistic classification generalized-linear-model roc

3

Die erste Hauptkomponente trennt keine Klassen, andere PCs jedoch. wie ist das möglich?

Ich habe PCA mit 17 quantitativen Variablen ausgeführt, um einen kleineren Satz von Variablen zu erhalten, dh Hauptkomponenten, die beim überwachten maschinellen Lernen zur Klassifizierung von Instanzen in zwei Klassen verwendet werden sollen. Nach PCA macht PC1 31% der Varianz in den Daten aus, PC2 17%, PC3 10%, PC4 8%, …

11 machine-learning classification pca dimensionality-reduction

4

Klassifikator für unsichere Klassenbezeichnungen

Angenommen, ich habe eine Reihe von Instanzen mit zugeordneten Klassenbezeichnungen. Es spielt keine Rolle, wie diese Instanzen gekennzeichnet wurden, sondern wie sicher ihre Klassenmitgliedschaft ist. Jeder Instanz gehört genau einer Klasse an. Angenommen, ich kann die Sicherheit jeder Klassenmitgliedschaft mit einem nominalen Attribut von 1 bis 3 quantifizieren (sehr sicher …

11 classification weka uncertainty

1

Motivation hinter zufälligen Waldalgorithmusschritten

Die mir bekannte Methode zum Erstellen einer zufälligen Gesamtstruktur lautet wie folgt: (von http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Um einen Baum im Wald zu bauen, haben wir: Booten Sie eine Stichprobe der Größe N, wobei N die Größe unseres Trainingssatzes ist. Verwenden Sie dieses Bootstrap-Beispiel als Trainingssatz für diesen Baum. Wählen Sie an …

11 machine-learning classification random-forest

1

Bewertung von Klassifikatoren: Lernkurven gegen ROC-Kurven

Ich möchte 2 verschiedene Klassifizierer für ein Problem der Textklassifizierung in mehreren Klassen vergleichen, die große Trainingsdatensätze verwenden. Ich bezweifle, ob ich ROC-Kurven oder Lernkurven verwenden sollte, um die beiden Klassifikatoren zu vergleichen. Einerseits sind Lernkurven hilfreich, um die Größe des Trainingsdatensatzes zu bestimmen, da Sie die Größe des Datensatzes …

11 machine-learning classification roc accuracy

3

Wie erstelle ich eine Verwirrungsmatrix für einen Klassifikator mit mehreren Klassen?

Ich habe ein Problem mit 6 Klassen. Daher erstelle ich einen Klassifikator für mehrere Klassen wie folgt: Für jede Klasse habe ich einen Klassifikator für die logistische Regression, der Eins gegen Alle verwendet, was bedeutet, dass ich 6 verschiedene Klassifikatoren habe. Ich kann für jeden meiner Klassifikatoren eine Verwirrungsmatrix melden. …

11 machine-learning logistic classification multi-class confusion-matrix

Als «classification» getaggte Fragen