Als «cross-validation» getaggte Fragen

Bezieht sich auf allgemeine Verfahren, mit denen versucht wird, die Generalisierbarkeit eines statistischen Ergebnisses zu bestimmen. Eine Kreuzvalidierung tritt häufig im Zusammenhang mit der Beurteilung auf, wie eine bestimmte Modellanpassung zukünftige Beobachtungen vorhersagt. Methoden zur Kreuzvalidierung umfassen normalerweise das Zurückhalten einer zufälligen Teilmenge der Daten während der Modellanpassung und das Quantifizieren, wie genau die zurückgehaltenen Daten vorhergesagt werden, und das Wiederholen dieses Prozesses, um ein Maß für die Vorhersagegenauigkeit zu erhalten.

2
Wann sollte man eine lineare Regression oder eine Entscheidungsbaum- oder eine zufällige Waldregression wählen? [geschlossen]
Geschlossen . Diese Frage muss fokussierter sein . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so, dass sie sich nur auf ein Problem konzentriert, indem Sie diesen Beitrag bearbeiten . Geschlossen vor 4 Jahren . Ich arbeite an einem Projekt und habe Schwierigkeiten …
10 machine-learning  algorithms  random-forest  linear-regression  decision-trees  machine-learning  predictive-modeling  forecast  r  clustering  similarity  data-mining  dataset  statistics  text-mining  text-mining  data-cleaning  data-wrangling  machine-learning  classification  algorithms  xgboost  data-mining  dataset  dataset  regression  graphs  svm  unbalanced-classes  cross-validation  optimization  hyperparameter  genetic-algorithms  visualization  predictive-modeling  correlation  machine-learning  predictive-modeling  apache-spark  statistics  normalization  apache-spark  map-reduce  r  correlation  confusion-matrix  r  data-cleaning  classification  terminology  dataset  image-classification  machine-learning  regression  apache-spark  machine-learning  data-mining  nlp  parsing  machine-learning  dimensionality-reduction  visualization  clustering  multiclass-classification  evaluation  unsupervised-learning  machine-learning  machine-learning  data-mining  supervised-learning  unsupervised-learning  machine-learning  data-mining  classification  statistics  predictive-modeling  data-mining  clustering  python  pandas  machine-learning  dataset  data-cleaning  data  bigdata  software-recommendation 
3
Verschachtelte Kreuzvalidierung und Auswahl des besten Regressionsmodells - ist dies der richtige SKLearn-Prozess?
Wenn ich das richtig verstehe, kann mir Nested-CV dabei helfen, zu bewerten, welcher Modell- und Hyperparameter-Optimierungsprozess am besten ist. Die innere Schleife ( GridSearchCV) findet die besten Hyperparameter, und die äußere Schleife ( cross_val_score) wertet den Algorithmus zur Optimierung der Hyperparameter aus. Ich wähle dann aus der äußeren Schleife aus, …
1
Generieren Sie Vorhersagen, die orthogonal (nicht korreliert) zu einer bestimmten Variablen sind
Ich habe eine XMatrix, eine yVariable und eine andere Variable ORTHO_VAR. Ich muss die yVariable vorhersagen , wobei Xdie Vorhersagen aus diesem Modell orthogonal sein müssen, ORTHO_VARwährend sie so korreliert ywie möglich sind. Ich würde es vorziehen, wenn die Vorhersagen mit einer nicht parametrischen Methode wie erzeugt werden, xgboost.XGBRegressoraber ich …
8 correlation  machine-learning  dataset  logistic-regression  prediction  linear-regression  prediction  dummy-variables  neural-network  image-classification  python  k-nn  python  neural-network  neural-network  deep-learning  keras  tensorflow  image-classification  tensorflow  reinforcement-learning  policy-gradients  machine-learning  decision-trees  neural-network  overfitting  data-analysis  metric  python  scikit-learn  distance  scipy  machine-learning  python  scikit-learn  decision-trees  logistic-regression  keras  image-classification  implementation  machine-learning  python  scikit-learn  random-forest  decision-trees  machine-learning  feature-selection  feature-engineering  word2vec  word-embeddings  natural-language-process  scikit-learn  time-series  clustering  k-means  python  cross-validation  pyspark  statistics  cross-validation  multiclass-classification  evaluation  machine-learning  nlp  machine-translation  neural-network  deep-learning  keras  tensorflow  image-classification  machine-learning  python  similarity  distance  lstm  text  named-entity-recognition  machine-learning  keras  optimization  gan  learning-rate  neural-network  data-mining  dataset  databases  books  neural-network  rnn 
2
Validierung vs. Test vs. Trainingsgenauigkeit. Welches sollte ich vergleichen, um Überanpassung zu beanspruchen?
Ich habe in den verschiedenen Antworten hier und im Internet gelesen, dass eine Kreuzvalidierung hilfreich ist, um anzuzeigen, ob sich das Modell gut verallgemeinern lässt oder nicht und ob es zu einer Überanpassung kommt. Aber ich bin verwirrt darüber, welche zwei Genauigkeiten / Fehler unter Test / Training / Validierung …
1
Warum k-fach Cross Validation (CV) Overfits? Oder warum tritt eine Diskrepanz zwischen Lebenslauf und Testsatz auf?
Vor kurzem habe ich an einem Projekt gearbeitet und festgestellt, dass meine Kreuzvalidierungsfehlerrate sehr niedrig ist, aber die Fehlerrate des Testsatzes sehr hoch. Dies könnte darauf hinweisen, dass mein Modell überpasst. Warum passt meine Kreuzvalidierung nicht über, während mein Testset überpasst? Insbesondere habe ich ungefähr 2 Millionen Beobachtungen mit 100 …
6
Welcher Kreuzvalidierungstyp eignet sich am besten für das Problem der binären Klassifizierung?
Datensatz sieht aus wie: 25000 Beobachtungen Bis zu 15 Prädiktoren verschiedener Typen: numerisch, kategorial für mehrere Klassen, binär Zielvariable ist binär Welche Kreuzvalidierungsmethode ist typisch für diese Art von Problemen? Standardmäßig verwende ich K-Fold. Wie viele Falten reichen in diesem Fall aus? (Eines der Modelle, die ich benutze, ist zufällige …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.