Statistiken und Big Data machine-learning

3

Rastersuche zur k-fachen Kreuzvalidierung

Ich habe einen Datensatz von 120 Proben in einer 10-fachen Kreuzvalidierungseinstellung. Derzeit wähle ich die Trainingsdaten des ersten Holdouts aus und führe eine 5-fache Kreuzvalidierung durch, um die Werte von Gamma und C durch Gittersuche zu ermitteln. Ich verwende SVM mit RBF-Kernel. Führen Sie diese Rastersuche in den Trainingsdaten jedes …

16 machine-learning classification cross-validation svm

3

Kollineare Variablen im Multiclass-LDA-Training

Ich trainiere einen LDA-Klassifikator für mehrere Klassen mit 8 Datenklassen. Während des Trainings bekomme ich eine Warnung von: " Variablen sind kollinear " Ich erhalte eine Trainingsgenauigkeit von über 90% . Ich verwende eine Scikits-Lernbibliothek in Python , um die Daten für mehrere Klassen zu trainieren und zu testen. Ich …

16 machine-learning classification python scikit-learn discriminant-analysis

6

Schnellste SVM-Implementierung

Eher eine allgemeine Frage. Ich verwende eine rbf-SVM für die vorhersagende Modellierung. Ich denke, mein aktuelles Programm muss definitiv etwas beschleunigt werden. Ich benutze Scikit Learn mit einer Grob- bis Feinrastersuche + Kreuzvalidierung. Jeder SVM-Lauf dauert ungefähr eine Minute, aber bei all den Iterationen finde ich es immer noch zu …

16 machine-learning svm predictive-models scikit-learn kernel-trick

5

Wie sollte man bei der Klassifizierung mit zufälligen Wäldern in R die unausgeglichenen Klassengrößen anpassen?

Ich erkunde verschiedene Klassifizierungsmethoden für ein Projekt, an dem ich arbeite, und bin daran interessiert, Random Forests auszuprobieren. Ich versuche mich weiterzubilden und würde mich über jede Hilfe durch die CV-Community freuen. Ich habe meine Daten in Trainings- / Test-Sets aufgeteilt. Durch Experimente mit zufälligen Gesamtstrukturen in R (mit dem …

16 r machine-learning random-forest

1

Gibt es in der statistischen Lerntheorie nicht ein Problem der Überanpassung eines Testsatzes?

Betrachten wir das Problem beim Klassifizieren des MNIST-Datasets. Laut der MNIST-Webseite von Yann LeCun , "Ciresan et al." 0,23% Fehlerrate beim MNIST-Test mit Convolutional Neural Network. Lassen Sie uns bezeichnen MNIST Trainingssatz als , MNIST Testset als , die letzte Hypothese sie erhalten unter Verwendung von als , und ihre …

16 machine-learning classification overfitting probability-inequalities

3

Was ist der Unterschied zwischen Online- und Batch-Lernen?

Derzeit lese ich die Arbeit Efficient Online and Batch Learning mit Forward-Backward Splitting von John Duchi und Yoram Singer. Ich bin sehr verwirrt über die Verwendung der Begriffe "Online" und "Batch". Ich dachte, "Online" bedeutet, dass wir die Gewichtsparameter nach der Verarbeitung einer Einheit der Trainingsdaten aktualisieren. Dann verwenden wir …

16 machine-learning online gradient-descent

4

Warum wirkt sich die Verwendung der Pseudomarkierung nicht trivial auf die Ergebnisse aus?

Ich habe mich mit halbüberwachten Lernmethoden befasst und bin auf das Konzept der "Pseudo-Kennzeichnung" gestoßen. So wie ich es verstehe, haben Sie mit Pseudo-Labeling eine Reihe von beschrifteten Daten sowie eine Reihe von unbeschrifteten Daten. Sie trainieren zunächst ein Modell nur mit den beschrifteten Daten. Sie verwenden diese Anfangsdaten dann, …

16 machine-learning semi-supervised

3

ROC vs Precision-Recall-Kurven bei unausgeglichenem Datensatz

Ich habe gerade das Lesen dieses Diskussion . Sie argumentieren, dass PR AUC bei unausgeglichenen Datensätzen besser ist als ROC AUC. Zum Beispiel haben wir 10 Proben im Testdatensatz. 9 Proben sind positiv und 1 ist negativ. Wir haben ein schreckliches Modell, das alles Positive vorhersagt. Wir haben also eine …

16 machine-learning model-selection roc unbalanced-classes precision-recall

4

Interpretation der negativen Kosinusähnlichkeit

Meine Frage mag albern sein. Also werde ich mich im Voraus entschuldigen. Ich habe versucht, das von der Stanford NLP-Gruppe vorbereitete GLOVE-Modell zu verwenden ( Link ). Ich bemerkte jedoch, dass meine Ähnlichkeitsergebnisse einige negative Zahlen zeigten. Das veranlasste mich sofort, mir die Wortvektordatendatei anzusehen. Anscheinend durften die Werte in …

16 machine-learning word2vec cosine-similarity

1

Entspricht die Summe von zwei Entscheidungsbäumen einem einzelnen Entscheidungsbaum?

Angenommen , wir haben zwei Regressionsbäume (Baum A und B - Baum) , die Karteneingabe zur Ausgabe y ∈ R . Lassen y = f A ( x ) für Baum - A und f B ( x ) für Baum B. Jeder Baum binäre Splits verwendet, mit Hyperebenen wie …

15 regression machine-learning cart

3

Kann ich ein winziges Validierungsset verwenden?

Ich verstehe die Gründe für die Aufteilung der Daten in einen Test- und einen Validierungssatz. Ich verstehe auch, dass die Größe des Split von der Situation abhängen wird, aber im Allgemeinen von 50/50 bis 90/10 variieren wird. Ich habe eine RNN erstellt, um die Rechtschreibung zu korrigieren und mit einem …

15 machine-learning neural-networks validation

2

Warum ist die Maximierung der Erwartungen für Mischmodelle wichtig?

Es gibt viele Literaturstellen, in denen die Expectation Maximization-Methode für Mischmodelle (Mischung aus Gauß-Modell, Hidden-Markov-Modell usw.) im Vordergrund steht. Warum ist EM wichtig? EM ist nur eine Möglichkeit zur Optimierung und wird nicht häufig als gradientenbasierte Methode (Gradient Decent oder Newton's / Quasi-Newton-Methode) oder als andere gradientenfreie Methode verwendet, die …

15 machine-learning optimization expectation-maximization gaussian-mixture

2

Was ist eine gute Methode für das Kurztext-Clustering?

Ich arbeite an einem Text-Clustering-Problem. Die Daten enthalten mehrere Sätze. Gibt es einen guten Algorithmus, der bei kurzen Texten eine hohe Genauigkeit erzielt? Können Sie gute Referenzen vorlegen? Algorithmen wie KMeans und Spectral Clustering funktionieren für dieses Problem nicht gut.

15 machine-learning clustering text-mining

5

Betrügt es, die Ausreißer auf der Grundlage des Boxplots des mittleren absoluten Fehlers zu löschen, um ein Regressionsmodell zu verbessern?

Ich habe ein Vorhersagemodell mit vier Methoden getestet, wie Sie in der Boxplot-Abbildung unten sehen können. Das vom Modell vorhergesagte Attribut liegt im Bereich von 0 bis 8. Möglicherweise stellen Sie fest, dass bei allen Methoden ein Ausreißer mit Obergrenze und drei Ausreißer mit Untergrenze angegeben sind. Ich frage mich, …

15 regression machine-learning multiple-regression predictive-models outliers

1

Wie kann der stochastische Gradientenabstieg im Vergleich zum normalen Gradientenabstieg Zeit sparen?

Standardgradientenabstieg berechnet den Gradienten für den gesamten Trainingsdatensatz. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Für eine vordefinierte Anzahl von Epochen berechnen wir zunächst den Gradientenvektor Weight_Grad der Verlustfunktion für den gesamten Datensatz mit unseren Parametervektorparametern. Im Gegensatz dazu führt der …

15 machine-learning optimization gradient-descent computational-statistics sgd

Als «machine-learning» getaggte Fragen