Als «cross-validation» getaggte Fragen

Wiederholtes Zurückhalten von Teilmengen der Daten während der Modellanpassung, um die Modellleistung für die Teilmengen der zurückgehaltenen Daten zu quantifizieren.

1
Meldevarianz der wiederholten k-fachen Kreuzvalidierung
Ich habe eine wiederholte k-fache Kreuzvalidierung verwendet und den Mittelwert (der Bewertungsmetrik, z. B. Sensitivität, Spezifität) angegeben, der als Gesamtmittelwert über die Falten verschiedener Läufe der Kreuzvalidierung berechnet wurde. Ich bin mir jedoch nicht sicher, wie ich die Varianz melden soll. Ich habe hier viele Fragen zur wiederholten Kreuzvalidierung gefunden, …
2
Wie oft sollten wir einen K-fach Lebenslauf wiederholen?
Ich bin auf diesen Thread gestoßen und habe mir die Unterschiede zwischen Bootstrapping und Cross Validation angesehen - tolle Antwort und Referenzen übrigens. Was mich jetzt wundert, ist, wenn ich einen wiederholten 10-fachen Lebenslauf durchführen sollte, um die Genauigkeit eines Klassifikators zu berechnen, wie oft n sollte ich ihn wiederholen? …
3
Wie erhält man Hyperparameter in einer verschachtelten Kreuzvalidierung?
Ich habe die folgenden Beiträge zur geschachtelten Kreuzvalidierung gelesen und bin mir immer noch nicht 100% sicher, was ich mit der Modellauswahl mit geschachtelter Kreuzvalidierung tun soll: Verschachtelte Kreuzvalidierung für die Modellauswahl Modellauswahl und Kreuzvalidierung: Der richtige Weg Lassen Sie mich, um meine Verwirrung zu erklären, Schritt für Schritt durch …
1
Caret - Wiederholte K-fache Kreuzvalidierung gegen verschachtelte K-fache Kreuzvalidierung, n-mal wiederholt
Das Caret- Paket ist eine brillante R-Bibliothek zum Erstellen mehrerer maschineller Lernmodelle und verfügt über mehrere Funktionen zum Erstellen und Bewerten von Modellen. Für die Parametereinstellung und das Modelltraining bietet das Caret-Paket "repeatedcv" als eine der Methoden an. Als bewährte Methode kann die Parameteroptimierung mithilfe einer verschachtelten K-fach-Kreuzvalidierung durchgeführt werden, …
1
Sollte eine wiederholte Kreuzvalidierung verwendet werden, um Vorhersagemodelle zu bewerten?
Ich bin auf diesen Artikel von Gitte Vanwinckelen und Hendrik Blockeel aus dem Jahr 2012 gestoßen, in dem die Nützlichkeit der wiederholten Kreuzvalidierung in Frage gestellt wurde. Die Autoren haben gezeigt, dass wiederholte Kreuzvalidierungen zwar die Varianz der Modellvorhersagen verringern, der Mittelwert der erneut abgetasteten Kreuzvalidierungsschätzungen jedoch mit einer verzerrten …
3
Rastersuche zur k-fachen Kreuzvalidierung
Ich habe einen Datensatz von 120 Proben in einer 10-fachen Kreuzvalidierungseinstellung. Derzeit wähle ich die Trainingsdaten des ersten Holdouts aus und führe eine 5-fache Kreuzvalidierung durch, um die Werte von Gamma und C durch Gittersuche zu ermitteln. Ich verwende SVM mit RBF-Kernel. Führen Sie diese Rastersuche in den Trainingsdaten jedes …
7
Was ist die Definition von "best", wie sie im Begriff "best fit" und Kreuzvalidierung verwendet wird?
Wenn Sie eine nichtlineare Funktion an eine Menge von Punkten anpassen (vorausgesetzt, es gibt nur eine Ordinate für jede Abszisse), kann das Ergebnis entweder sein: eine sehr komplexe Funktion mit kleinen Residuen eine sehr einfache Funktion mit großen Residuen Kreuzvalidierung wird häufig verwendet, um den "besten" Kompromiss zwischen diesen beiden …
2
PCA und k-fache Kreuzvalidierung in Caret-Packung in R
Ich habe mir gerade einen Vortrag aus dem Kurs über maschinelles Lernen auf Coursera noch einmal angesehen. In dem Abschnitt, in dem der Professor PCA für die Vorverarbeitung von Daten in beaufsichtigten Lernanwendungen bespricht, sagt er, dass PCA nur für die Trainingsdaten durchgeführt werden sollte und dann das Mapping verwendet …
4
Normalisierung vor der Kreuzvalidierung
Hat das Normalisieren von Daten (um einen Mittelwert von Null und eine Standardabweichung von Eins zu haben) vor dem Durchführen einer wiederholten Kreuzvalidierung eine negative Konsequenz, wie beispielsweise eine Überanpassung? Hinweis: Dies gilt für eine Situation, in der #cases> total #features ist Ich transformiere einige meiner Daten mithilfe einer Protokolltransformation …
1
Was ist die Intuition hinter austauschbaren Proben unter der Nullhypothese?
Permutationstests (auch Randomisierungstest, Re-Randomisierungstest oder exakter Test genannt) sind sehr nützlich und nützlich, wenn die zum Beispiel erforderliche Annahme einer Normalverteilung t-testnicht erfüllt ist und wenn die Transformation der Werte durch Rangfolge der Werte erfolgt Ein nicht parametrischer Test Mann-Whitney-U-testwürde dazu führen, dass mehr Informationen verloren gehen. Eine einzige Annahme, …
15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 
2
Wie kann eine Kreuzvalidierung mit einem Cox-Modell für proportionale Gefahren durchgeführt werden?
Angenommen, ich habe ein Vorhersagemodell für das Auftreten einer bestimmten Krankheit in einem Datensatz (dem Datenbestand zur Modellbildung) erstellt und möchte nun überprüfen, wie gut das Modell in einem neuen Datensatz (dem Validierungsdatenbestand) funktioniert. Für ein mit logistischer Regression erstelltes Modell würde ich die vorhergesagte Wahrscheinlichkeit für jede Person im …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.