Statistiken und Big Data classification

3

Was sind die Auswirkungen der Auswahl verschiedener Verlustfunktionen bei der Klassifizierung auf einen ungefähren Verlust von 0 bis 1?

Wir wissen, dass einige objektive Funktionen einfacher zu optimieren sind und andere schwierig. Und es gibt viele Verlustfunktionen, die wir verwenden möchten, die aber schwer zu verwenden sind, zum Beispiel 0-1-Verlust. Wir finden also einige Proxy- Verlust-Funktionen, um die Arbeit zu erledigen. Zum Beispiel verwenden wir den Scharnierverlust oder den …

27 machine-learning classification optimization loss-functions

5

Was kann dazu führen, dass PCA die Ergebnisse eines Klassifikators verschlechtert?

Ich habe einen Klassifikator, für den ich eine Kreuzvalidierung durchführe, und ungefähr hundert Features, für die ich eine Vorauswahl vornehme, um optimale Kombinationen von Features zu finden. Ich vergleiche dies auch mit der Durchführung der gleichen Experimente mit PCA, bei denen ich die potenziellen Merkmale nehme, SVD anwende, die ursprünglichen …

27 classification pca feature-selection

1

Ist die Kreuzvalidierung ein geeigneter Ersatz für das Validierungsset?

In der Textklassifikation habe ich ein Trainingsset mit ca. 800 Samples und ein Testset mit ca. 150 Samples. Das Test-Set wurde noch nie verwendet und wartet darauf, bis zum Ende verwendet zu werden. Ich verwende das gesamte 800-Muster-Trainingsset mit 10-facher Kreuzvalidierung, während ich Klassifikatoren und Funktionen abstimme und optimiere. Dies …

27 machine-learning classification cross-validation text-mining

4

Wie wird die „variable Wichtigkeit“ bei der Verwendung von CART gemessen / eingestuft? (speziell mit {rpart} von R)

Wenn Sie ein CART-Modell (insbesondere einen Klassifizierungsbaum) mit rpart (in R) erstellen, ist es häufig interessant zu wissen, welche Bedeutung die verschiedenen Variablen haben, die in das Modell eingeführt werden. Meine Frage lautet daher: Welche gängigen Maße gibt es für das Ranking / Messen der Variablenwichtigkeit von beteiligten Variablen in …

27 r classification model-selection cart rpart

7

Warum sollte man sich in Naive Bayes mit Laplace-Glättung beschäftigen, wenn das Testset unbekannte Wörter enthält?

Ich habe heute über die Naive Bayes-Klassifikation gelesen. Ich las unter der Überschrift Parameterschätzung mit add 1 Glättung : Verweisen Sie mit ccc auf eine Klasse (z. B. Positiv oder Negativ) und mit www auf ein Token oder Wort. Der Maximum - Likelihood - Schätzer für P(w|c)P(w|c)P(w|c) ist count(w,c)count(c)=counts w …

27 machine-learning classification text-mining naive-bayes laplace-smoothing

2

Wann ist es angebracht, eine falsche Bewertungsregel anzuwenden?

Merkle & Steyvers (2013) schreiben: Um eine korrekte Bewertungsregel formal zu definieren, sei eine probabilistische Vorhersage eines Bernoulli-Versuchs mit echter Erfolgswahrscheinlichkeit . Richtige Bewertungsregeln sind Metriken, deren erwartete Werte minimiert werden, wenn .fffdddpppf= pf=pf = p Ich verstehe, dass dies gut ist, weil wir die Prognostiker ermutigen möchten, Prognosen zu …

27 classification forecasting scoring-rules

1

One-vs-All und One-vs-One in SVM?

Was ist der Unterschied zwischen einem Eins-gegen-Alles- und einem Eins-gegen-Eins-SVM-Klassifikator? Bedeutet "Eins gegen Alles", dass ein Klassifizierer alle Typen / Kategorien des neuen Bildes klassifiziert, und "Eins gegen Eins", dass jeder Typ / jede Kategorie eines neuen Bildes mit einem anderen Klassifizierer klassifiziert wird (jede Kategorie wird von einem speziellen …

26 machine-learning classification svm

2

Drei Versionen der Diskriminanzanalyse: Unterschiede und ihre Verwendung

Kann jemand Unterschiede erklären und konkrete Beispiele für die Verwendung dieser drei Analysen nennen? LDA - Lineare Diskriminanzanalyse FDA - Fisher's Diskriminanzanalyse QDA - Quadratische Diskriminanzanalyse Ich habe überall gesucht, konnte aber keine realen Beispiele mit realen Werten finden, um zu sehen, wie diese Analysen verwendet und Daten berechnet werden. …

26 classification discriminant-analysis

2

Neuronales Netzwerk: Verwenden Sie für die binäre Klassifizierung 1 oder 2 Ausgangsneuronen?

Angenommen, ich möchte eine binäre Klassifizierung durchführen (etwas gehört zu Klasse A oder Klasse B). Es gibt einige Möglichkeiten, dies in der Ausgabeschicht eines neuronalen Netzwerks zu tun: Verwenden Sie 1 Ausgangsknoten. Ausgang 0 (<0,5) gilt als Klasse A und 1 (> = 0,5) gilt als Klasse B (bei Sigmoid) …

26 machine-learning classification neural-networks

4

Vorhersage mit kontinuierlichen und kategorialen Funktionen

Einige Vorhersagemodelltechniken sind eher für den Umgang mit kontinuierlichen Prädiktoren ausgelegt, während andere für den Umgang mit kategorialen oder diskreten Variablen besser geeignet sind. Natürlich gibt es Techniken, um einen Typ in einen anderen umzuwandeln (Diskretisierung, Dummy-Variablen usw.). Gibt es jedoch Vorhersagemodelltechniken, mit denen beide Eingabetypen gleichzeitig verarbeitet werden können, …

26 classification predictive-models categorical-data continuous-data discrete-data

1

Gibt es einen Algorithmus, der Klassifikation und Regression kombiniert?

Ich frage mich, ob es einen Algorithmus gibt, der gleichzeitig Klassifizierung und Regression durchführen kann. Zum Beispiel möchte ich, dass der Algorithmus einen Klassifikator lernt und gleichzeitig in jedem Etikett ein kontinuierliches Ziel lernt. Daher hat es für jedes Trainingsbeispiel eine kategoriale Bezeichnung und einen kontinuierlichen Wert. Ich könnte zuerst …

25 regression machine-learning classification predictive-models finite-mixture-model

5

Wie können Hauptkomponenten die Vorhersagekraft einer abhängigen Variablen beibehalten (oder sogar zu besseren Vorhersagen führen)?

Angenommen, ich führe eine Regression . Warum behält das Modell durch Auswahl der Top- Hauptkomponenten von seine Vorhersagekraft für ?Y.∼ XY.∼XY \sim XkkkXXXY.Y.Y Ich verstehe, dass aus Sicht der Dimensionsreduktion / Merkmalsauswahl, wenn die Eigenvektoren der Kovarianzmatrix von mit den höchsten Eigenwerten sind, die höchsten Hauptkomponenten sind mit maximalen Abweichungen. …

25 regression classification pca dimensionality-reduction regularization

2

Ist es sinnvoll, PCA und LDA zu kombinieren?

Angenommen, ich habe einen Datensatz für eine überwachte statistische Klassifizierungsaufgabe, z. B. über einen Bayes-Klassifizierer. Dieser Datensatz besteht aus 20 Merkmalen, und ich möchte ihn mithilfe von Dimensionalitätsreduktionstechniken wie der Hauptkomponentenanalyse (PCA) und / oder der linearen Diskriminanzanalyse (LDA) auf zwei Merkmale reduzieren. Beide Techniken projizieren die Daten auf einen …

25 classification pca regularization discriminant-analysis overfitting

4

Wann vermeide ich Random Forest?

Zufällige Wälder sind dafür bekannt, dass sie bei einer Vielzahl von Aufgaben eine recht gute Leistung erbringen . Gibt es Probleme oder spezielle Bedingungen, unter denen man die Verwendung einer zufälligen Gesamtstruktur vermeiden sollte?

25 machine-learning classification random-forest

3

Die fünf besten Klassifikatoren, die zuerst ausprobiert werden sollten

Neben offensichtlichen Klassifizierereigenschaften wie Rechenaufwand, erwartete Datentypen von Features / Labels und Eignung für bestimmte Größen und Abmessungen von Datensätzen, Was sind die fünf besten (oder 10, 20?) Klassifikatoren, um zuerst einen neuen Datensatz auszuprobieren, über den man noch nicht viel weiß (z. B. Semantik und Korrelation einzelner Merkmale)? Normalerweise …

25 machine-learning classification methodology

Als «classification» getaggte Fragen