Als «validation» getaggte Fragen

Der Prozess der Bewertung, ob die Ergebnisse einer Analyse wahrscheinlich außerhalb des ursprünglichen Forschungsumfelds liegen. Verwenden Sie dieses Tag NICHT, um die Gültigkeit einer Messung oder eines Instruments zu erörtern (z. B. um zu messen, wofür es vorgibt). Verwenden Sie stattdessen das Tag [Gültigkeit].

1
logloss vs gini / auc
Ich habe zwei Modelle trainiert (binäre Klassifikatoren mit h2o AutoML) und möchte eines zur Verwendung auswählen. Ich habe folgende Ergebnisse: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 Die Spalten aucund loglosssind die Kreuzvalidierungsmetriken (bei der Kreuzvalidierung …

1
Wenn Sie ein Regressionsmodell mit separaten Modellierungs- / Validierungssätzen erstellen, ist es angemessen, die Validierungsdaten erneut zu verteilen?
Angenommen, ich habe eine 80/20 Aufteilung zwischen Modellierungs- / Validierungsbeobachtungen. Ich habe ein Modell an den Modellierungsdatensatz angepasst und bin mit dem Fehler, den ich im Validierungsdatensatz sehe, einverstanden. Ist es angebracht, die Validierung mit den Modellierungsdaten zu kombinieren, um aktualisierte Parameterschätzungen für die 100% -Daten zu erhalten, bevor ich …

3
Warum wird die Holdout-Methode (Aufteilen von Daten in Training und Test) in der klassischen Statistik nicht verwendet?
In meinem Unterricht wurde die Holdout-Methode eingeführt, um die Modellleistung zu bewerten. Als ich meinen ersten Kurs über lineare Modelle belegte, wurde dies jedoch nicht als Mittel zur Modellvalidierung oder -bewertung eingeführt. Meine Online-Recherche zeigt auch keinerlei Schnittmenge. Warum wird die Holdout-Methode in der klassischen Statistik nicht verwendet?


2
Ist die Fehlerrate eine konvexe Funktion des Regularisierungsparameters Lambda?
Bei der Auswahl des Regularisierungsparameters Lambda in Ridge oder Lasso wird empfohlen, verschiedene Lambda-Werte auszuprobieren, den Fehler im Validierungssatz zu messen und schließlich den Lambda-Wert auszuwählen, der den niedrigsten Fehler zurückgibt. Es ist mir kein Problem, wenn die Funktion f (Lambda) = Fehler konvex ist. Könnte es so sein? Dh …



3
Was ist eine Konsistenzprüfung?
Mir wurde die Frage gestellt: "Haben Sie in Ihrer täglichen Arbeit eine Konsistenzprüfung durchgeführt?" während eines Telefoninterviews für eine Position als Biostatistiker. Ich weiß nicht, was ich antworten soll. Jede Information wird geschätzt.
11 validation 



2
Optimism Bias - Schätzungen des Vorhersagefehlers
Das Buch Elemente des statistischen Lernens (online als PDF verfügbar) behandelt die optimistische Tendenz (7.21, Seite 229). Es heißt, dass der Optimismus-Bias die Differenz zwischen dem Trainingsfehler und dem In-Sample-Fehler ist (Fehler, der beobachtet wird, wenn an jedem der ursprünglichen Trainingspunkte neue Ergebniswerte abgetastet werden) (siehe unten). Als nächstes heißt …

4
Berechnung des Verhältnisses der für die Modellanpassung / Schulung und Validierung verwendeten Probendaten
Bereitstellung einer Stichprobengröße "N", die ich zur Vorhersage von Daten verwenden möchte. Wie kann ich die Daten so unterteilen, dass ich einige davon zum Erstellen eines Modells und die restlichen Daten zum Validieren des Modells verwende? Ich weiß, dass es keine Schwarz-Weiß-Antwort darauf gibt, aber es wäre interessant, einige "Faustregeln" …


1
Best Practices zum Messen und Vermeiden von Überanpassungen?
Ich entwickle automatisierte Handelssysteme für die Börse. Die große Herausforderung war die Überanpassung. Können Sie einige Ressourcen empfehlen, die Methoden zur Messung und Vermeidung von Überanpassungen beschreiben? Ich habe mit Trainings- / Validierungssätzen begonnen, aber der Validierungssatz wird immer verschmutzt. Außerdem ändern sich die Zeitreihendaten ständig, da sich der Markt …


Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.