Statistiken und Big Data train

5

Kompromiss zwischen Stapelgröße und Anzahl der Iterationen zum Trainieren eines neuronalen Netzwerks

Welchen Unterschied macht es, wenn Sie ein neuronales Netzwerk trainieren: Batchgröße auf und Anzahl der Iterationen aufbeinaabbb Batch-Größe auf und Anzahl der Iterationen aufdcccddd wo ?a b = c dab=cd ab = cd Um es anders auszudrücken: Angenommen, wir trainieren das neuronale Netzwerk mit der gleichen Anzahl von Trainingsbeispielen. Wie …

221 neural-networks train

1

Vorteile der geschichteten vs zufälligen Stichprobe für die Erzeugung von Trainingsdaten in der Klassifizierung

Ich würde gerne wissen, ob die Verwendung geschichteter Stichproben anstelle von Zufallsstichproben einige Vorteile hat, wenn der ursprüngliche Datensatz in Trainings- und Testsätze für die Klassifizierung aufgeteilt wird. Bringt geschichtete Stichprobe mehr Verzerrung in den Klassifikator als zufällige Stichprobe? Die Anwendung, für die ich eine geschichtete Stichprobe zur Datenaufbereitung verwenden …

20 classification cross-validation random-forest train stratification

3

Zurechnung vor oder nach der Aufteilung in Zug und Test?

Ich habe einen Datensatz mit N ~ 5000 und ungefähr 1/2, der auf mindestens einer wichtigen Variablen fehlt. Die Hauptanalysemethode sind Cox-proportionale Gefahren. Ich plane mehrere Anrechnungen. Ich werde mich auch in einen Zug und ein Test-Set aufteilen. Sollte ich die Daten aufteilen und dann separat unterstellen oder unterstellen und …

18 cross-validation survival multiple-imputation train

4

Die Maschinengenauigkeit zur Steigerung des Gradienten nimmt mit zunehmender Anzahl von Iterationen ab

Ich experimentiere mit dem Algorithmus der Gradientenverstärkungsmaschine über das caretPaket in R. Unter Verwendung eines kleinen Datensatzes für Hochschulzulassungen habe ich den folgenden Code ausgeführt: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable

2

Unterschiedliche Ergebnisse von randomForest über caret und das Basispaket randomForest

Ich bin etwas verwirrt: Wie können sich die Ergebnisse eines trainierten Modells per Caret vom Modell in der Originalverpackung unterscheiden? Ich habe gelesen, ob vor der Vorhersage mit FinalModel von RandomForest mit Caret-Paket eine Vorverarbeitung erforderlich ist. aber ich benutze hier keine vorverarbeitung. Ich habe verschiedene Zufallswälder trainiert, indem ich …

14 r machine-learning random-forest caret train

3

Training, Testen, Validieren in einem Überlebensanalyseproblem

Ich habe hier verschiedene Themen durchgesehen, aber ich glaube nicht, dass meine genaue Frage beantwortet ist. Ich habe einen Datensatz von ~ 50.000 Studenten und deren Zeit bis zum Abbruch. Ich werde eine proportionale Hazard-Regression mit einer großen Anzahl potenzieller Kovariaten durchführen. Ich werde auch eine logistische Regression bei Studienabbrechern …

14 cross-validation survival train

2

Scikit-Methode zum Kalibrieren von Klassifikatoren mit CalibratedClassifierCV

Scikit verfügt über CalibratedClassifierCV , mit dem wir unsere Modelle für ein bestimmtes X, Y-Paar kalibrieren können. Es heißt auch klar, dassdata for fitting the classifier and for calibrating it must be disjoint. Wenn sie disjunkt sein müssen, ist es legitim, den Klassifikator mit den folgenden zu trainieren? model = …

14 cross-validation scikit-learn validation train calibration

1

Wie kann man feststellen, ob eine Lernkurve aus dem SVM-Modell eine Verzerrung oder Varianz aufweist?

Ich habe diese Lernkurve erstellt und möchte wissen, ob mein SVM-Modell unter Voreingenommenheit oder Varianz leidet. Wie kann ich das aus dieser Grafik schließen?

12 machine-learning svm bias train

4

Gute Beispiele / Bücher / Ressourcen zum Erlernen des angewandten maschinellen Lernens (nicht nur ML selbst)

Ich habe zuvor einen ML-Kurs besucht, aber jetzt, da ich an meinem Arbeitsplatz mit ML-bezogenen Projekten arbeite, habe ich große Probleme, ihn tatsächlich anzuwenden. Ich bin mir sicher, dass das, was ich mache, schon einmal recherchiert / behandelt wurde, aber ich kann keine spezifischen Themen finden. Alle Beispiele für maschinelles …

11 machine-learning references train application

3

Ansätze beim Lernen aus riesigen Datensätzen?

Grundsätzlich gibt es zwei gängige Methoden, um gegen große Datenmengen zu lernen (wenn Sie mit zeitlichen / räumlichen Einschränkungen konfrontiert sind): Betrug :) - Verwenden Sie nur eine "überschaubare" Teilmenge für das Training. Der Genauigkeitsverlust kann aufgrund des Gesetzes zur Verringerung der Rendite vernachlässigbar sein - die Vorhersageleistung des Modells …

10 machine-learning large-data model-evaluation train

1

Wie kann der AIC oder BIC anstelle des Zug- / Test-Split verwendet werden?

Ich bin kürzlich auf mehrere "informelle" Quellen gestoßen, die darauf hinweisen, dass wir unter bestimmten Umständen, wenn wir den AIC oder BIC zum Trainieren eines Zeitreihenmodells verwenden, die Daten nicht in Test und Training aufteilen müssen - wir können alle verwenden die Daten für das Training. (Zu den Quellen gehören …

8 time-series cross-validation aic train bic

6

Ist die Verwendung derselben Daten für die Merkmalsauswahl und Kreuzvalidierung voreingenommen oder nicht?

Wir haben einen kleinen Datensatz (ca. 250 Beispiele * 100 Features), auf dem wir nach Auswahl der besten Feature-Teilmenge einen binären Klassifikator erstellen möchten. Nehmen wir an, wir partitionieren die Daten in: Schulung, Validierung und Prüfung Für die Merkmalsauswahl wenden wir ein Wrapper-Modell an, das auf der Auswahl von Merkmalen …

8 machine-learning cross-validation feature-selection train

1

Wie funktioniert die Kreuzvalidierung im Zug (Caret) genau?

Ich habe eine ganze Reihe von Beiträgen zum Caret- Paket gelesen und interessiere mich speziell für die Zugfunktion . Ich bin mir jedoch nicht ganz sicher, ob ich richtig verstanden habe, wie die Zugfunktion funktioniert. Um meine aktuellen Gedanken zu veranschaulichen, habe ich ein kurzes Beispiel zusammengestellt. Zunächst wird ein …

8 r cross-validation caret train

3

Ist das Modell mit höherer AUC am Testmuster besser als das nicht überpasste

Ich nehme an einer Herausforderung teil, bei der ich ein Modell erstellt habe, das 70% AUC am Zugset und 70% AUC am Hold-Out-Test-Set ausführt. Der andere Teilnehmer hat ein Modell erstellt, das 96% AUC am Zugset und 76% AUC am Hold-Out-Testset ausführt. Meiner Meinung nach ist mein Modell besser, weil …

7 validation overfitting model-comparison auc train

4

Wie trainiere ich ein verstecktes Markov-Modell mit Gaußscher Mischung?

Ich möchte ein Hidden-Markov-Modell (HMM) mit kontinuierlichen Beobachtungen erstellen, die als Gaußsche Gemische modelliert sind ( Gaußsches Mischungsmodell = GMM). Ich verstehe den Trainingsprozess so, dass er in Schritten durchgeführt werden sollte.222 1) Trainieren Sie zuerst die GMM-Parameter mithilfe der Erwartungsmaximierung (EM). 2) Trainieren Sie die HMM-Parameter mit EM. Ist …

7 hidden-markov-model gaussian-mixture train

Als «train» getaggte Fragen