Statistiken und Big Data machine-learning

8

Wie berechnet man die Genauigkeit / den Rückruf für die Klassifizierung mit mehreren Klassen und mehreren Etiketten?

Ich frage mich, wie man Genauigkeits- und Rückrufmaße für die Multiklassen-Multilabel-Klassifizierung berechnet, dh eine Klassifizierung, bei der es mehr als zwei Labels gibt und bei der jede Instanz mehrere Labels haben kann.

72 machine-learning classification precision-recall multi-class

7

Euklidischer Abstand ist normalerweise nicht gut für spärliche Daten?

Ich habe irgendwo gesehen, dass klassische Entfernungen (wie die euklidische Entfernung) schwach diskriminierend werden, wenn wir mehrdimensionale und spärliche Daten haben. Warum? Haben Sie ein Beispiel für zwei spärliche Datenvektoren, bei denen die euklidische Distanz nicht gut funktioniert? In diesem Fall welche Ähnlichkeit sollten wir verwenden?

72 machine-learning clustering data-mining sparse euclidean

8

Fähigkeiten, die bei maschinellen Lernern schwer zu finden sind?

Es scheint, dass Data Mining und maschinelles Lernen so populär wurden, dass mittlerweile fast jeder CS-Student über Klassifikatoren, Clustering, statistische NLPs usw. Bescheid weiß. Meine Frage lautet: Welche Fähigkeiten könnte ein Data Miner erlernen, die ihn von den anderen unterscheiden? Ihn zu einer Person zu machen, die nicht so leicht …

71 machine-learning data-mining

2

Auflösen nach Regressionsparametern in geschlossener Form gegen Gradientenabstieg

In Andrew Ngs Kurs über maschinelles Lernen führt er in die lineare und logistische Regression ein und zeigt, wie die Modellparameter mithilfe des Gradientenabfalls und der Newton-Methode angepasst werden. Ich weiß, dass Gradientenabstieg in einigen Anwendungen des maschinellen Lernens (z. B. Backpropogation) nützlich sein kann, aber im allgemeineren Fall gibt …

71 regression machine-learning logistic gradient-descent

9

Welchen Algorithmus sollte ich verwenden, um Anomalien in Zeitreihen zu erkennen?

Hintergrund Ich arbeite im Network Operations Center. Wir überwachen Computersysteme und deren Leistung. Eine der wichtigsten zu überwachenden Messgrößen ist die Anzahl der Besucher / Kunden, die derzeit mit unseren Servern verbunden sind. Um dies sichtbar zu machen, sammeln wir (Ops-Team) Metriken wie Zeitreihendaten und zeichnen Diagramme. Graphite ermöglicht es …

70 machine-learning time-series python computational-statistics anomaly-detection

1

Wie kann der Datensatz für die Kreuzvalidierung, Lernkurve und Endbewertung aufgeteilt werden?

Was ist eine geeignete Strategie zur Aufteilung des Datensatzes? Ich bitte um Feedback zu dem folgenden Ansatz (nicht zu den einzelnen Parametern wie test_sizeoder n_iter, aber wenn ich verwende X, y, X_train, y_train, X_test, und in y_testgeeigneter Weise und wenn die Sequenz macht Sinn): (Erweiterung dieses Beispiels aus der Scikit-Learn-Dokumentation) …

70 machine-learning cross-validation python scikit-learn

4

Wie werden Hyperparameter von xgboost-Bäumen optimiert?

Ich habe klassenunausgeglichene Daten und möchte die Hyperparameter der verstärkten Locke mit xgboost optimieren. Fragen Gibt es für xgboost ein Äquivalent zu gridsearchcv oder randomsearchcv? Wenn nicht, was ist der empfohlene Ansatz, um die Parameter von xgboost zu optimieren?

68 machine-learning cross-validation xgboost boosting

6

Variablenauswahl für prädiktive Modellierung im Jahr 2016 wirklich erforderlich?

Diese Frage wurde bereits vor einigen Jahren im Lebenslauf gestellt. Angesichts von 1) um Größenordnungen besserer Computertechnologie (z. B. Parallel Computing, HPC usw.) und 2) neuerer Techniken, z. Erstens einen Kontext. Nehmen wir an, das Ziel ist nicht das Testen von Hypothesen, nicht das Schätzen von Effekten, sondern die Vorhersage …

67 machine-learning modeling feature-selection model-selection prediction

3

Richtige Methode zur Verwendung eines wiederkehrenden neuronalen Netzwerks für die Zeitreihenanalyse

Rekurrente neuronale Netze unterscheiden sich von "regulären" dadurch, dass sie eine "Gedächtnis" -Schicht haben. Aufgrund dieser Schicht sollten wiederkehrende NNs bei der Zeitreihenmodellierung nützlich sein. Ich bin mir jedoch nicht sicher, ob ich richtig verstehe, wie man sie benutzt. Angenommen, ich habe die folgenden Zeitreihen (von links nach rechts): [0, …

67 time-series machine-learning neural-networks

4

Was macht den Gaußschen Kernel so magisch für PCA und auch im Allgemeinen?

Ich habe über Kernel-PCA ( 1 , 2 , 3 ) mit Gauß- und Polynomkernen gelesen. Wie trennt der Gaußsche Kern scheinbar jede Art von nichtlinearen Daten außergewöhnlich gut? Bitte geben Sie eine intuitive Analyse sowie, wenn möglich, eine mathematische an. Was ist eine Eigenschaft des Gaußschen Kernels (mit ideal …

67 machine-learning pca svm kernel-trick

4

Softmax vs Sigmoid Funktion im Logistic Classifier?

Was entscheidet über die Wahl der Funktion (Softmax vs Sigmoid) in einem Logistic-Klassifikator? Angenommen, es gibt 4 Leistungsklassen. Jede der obigen Funktionen gibt die Wahrscheinlichkeiten jeder Klasse als die richtige Ausgabe an. Also welche für einen Klassifikator?

63 machine-learning logistic classification softmax

3

Was ist der Unterschied zwischen einem neuronalen Netzwerk und einem Deep-Believe-Netzwerk?

Ich habe den Eindruck, dass, wenn man sich auf ein "Deep Believe" -Netzwerk bezieht, dies im Grunde genommen ein neuronales Netzwerk ist, aber sehr groß. Ist das richtig oder impliziert ein tiefes Glaubensnetzwerk auch, dass der Algorithmus selbst anders ist (dh kein vorwärtskoppelndes neuronales Netz, aber vielleicht etwas mit Rückkopplungsschleifen)?

62 machine-learning neural-networks deep-learning deep-belief-networks

2

Warum nur drei Partitionen? (Training, Validierung, Test)

Wenn Sie versuchen, Modelle an ein großes Dataset anzupassen, besteht der allgemeine Rat darin, die Daten in drei Teile zu unterteilen: das Training, die Validierung und das Test-Dataset. Dies liegt daran, dass die Modelle normalerweise drei "Parameterebenen" haben: Der erste "Parameter" ist die Modellklasse (z. B. SVM, neuronales Netzwerk, zufällige …

61 machine-learning model-selection data-mining

9

Wie und warum funktionieren Normalisierung und Feature-Skalierung?

Ich sehe, dass viele Algorithmen für maschinelles Lernen mit mittlerer Auslöschung und Kovarianzausgleich besser funktionieren. Beispielsweise konvergieren neuronale Netze tendenziell schneller, und K-Means bietet im Allgemeinen eine bessere Clusterbildung mit vorverarbeiteten Features. Ich sehe nicht, dass die Intuition hinter diesen Vorverarbeitungsschritten zu einer Leistungssteigerung führt. Kann mir das jemand erklären?

61 machine-learning neural-networks covariance normalization

8

Wie kann ich sicherstellen, dass keine Testdaten in die Trainingsdaten gelangen?

Angenommen, wir haben jemanden, der ein Vorhersagemodell erstellt, der sich jedoch nicht unbedingt mit den richtigen statistischen oder maschinellen Lernprinzipien auskennt. Vielleicht helfen wir dieser Person beim Lernen, oder vielleicht verwendet diese Person ein Softwarepaket, für dessen Verwendung nur minimale Kenntnisse erforderlich sind. Nun könnte diese Person sehr wohl erkennen, …

60 machine-learning classification predictive-models cross-validation out-of-sample

Als «machine-learning» getaggte Fragen