Statistiken und Big Data validation

1

Ich habe zwei Modelle trainiert (binäre Klassifikatoren mit h2o AutoML) und möchte eines zur Verwendung auswählen. Ich habe folgende Ergebnisse: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 Die Spalten aucund loglosssind die Kreuzvalidierungsmetriken (bei der Kreuzvalidierung …

14 model-selection validation auc gini log-loss

1

Wenn Sie ein Regressionsmodell mit separaten Modellierungs- / Validierungssätzen erstellen, ist es angemessen, die Validierungsdaten erneut zu verteilen?

Angenommen, ich habe eine 80/20 Aufteilung zwischen Modellierungs- / Validierungsbeobachtungen. Ich habe ein Modell an den Modellierungsdatensatz angepasst und bin mit dem Fehler, den ich im Validierungsdatensatz sehe, einverstanden. Ist es angebracht, die Validierung mit den Modellierungsdaten zu kombinieren, um aktualisierte Parameterschätzungen für die 100% -Daten zu erhalten, bevor ich …

13 regression predictive-models validation

3

Warum wird die Holdout-Methode (Aufteilen von Daten in Training und Test) in der klassischen Statistik nicht verwendet?

In meinem Unterricht wurde die Holdout-Methode eingeführt, um die Modellleistung zu bewerten. Als ich meinen ersten Kurs über lineare Modelle belegte, wurde dies jedoch nicht als Mittel zur Modellvalidierung oder -bewertung eingeführt. Meine Online-Recherche zeigt auch keinerlei Schnittmenge. Warum wird die Holdout-Methode in der klassischen Statistik nicht verwendet?

12 regression validation model-evaluation out-of-sample

1

Name des mittleren absoluten Fehlers analog zum Brier-Score?

Die gestrige Frage, die Genauigkeit des Modells zu bestimmen, die die Wahrscheinlichkeit eines Ereignisses schätzt, hat mich neugierig auf die Wahrscheinlichkeitsbewertung gemacht. Der Brier-Score ist ein mittleres quadratisches Fehlermaß. Bedeutet das analoge mittlere absolute Fehlerleistungsmaß haben auch einen namen1N∑i = 1N( P r e di c t i o nich- …

12 classification error validation scoring-rules brier-score

2

Ist die Fehlerrate eine konvexe Funktion des Regularisierungsparameters Lambda?

Bei der Auswahl des Regularisierungsparameters Lambda in Ridge oder Lasso wird empfohlen, verschiedene Lambda-Werte auszuprobieren, den Fehler im Validierungssatz zu messen und schließlich den Lambda-Wert auszuwählen, der den niedrigsten Fehler zurückgibt. Es ist mir kein Problem, wenn die Funktion f (Lambda) = Fehler konvex ist. Könnte es so sein? Dh …

11 cross-validation error regularization validation optimization

1

Welche Intuition steckt hinter der Variation der Informationsmetrik (VI) für die Clustervalidierung?

Für Nicht-Statistiker wie mich ist es sehr schwierig, die Idee der VIMetrik (Variation von Informationen) zu erfassen, selbst nachdem sie das relevante Papier von Marina Melia " Vergleich von Clustern - Eine informationsbasierte Distanz " (Journal of Multivariate Analysis, 2007) gelesen hat . Tatsächlich kenne ich viele Begriffe der Cluster …

11 r clustering validation intuition

1

Vorhersageauswertungsmetrik für Panel- / Längsschnittdaten

Ich möchte verschiedene Modelle evaluieren, die auf monatlicher Ebene Verhaltensvorhersagen liefern. Die Daten sind ausgewogen und 100.000 und T = 12. Das Ergebnis ist die Teilnahme an einem Konzert in einem bestimmten Monat, sodass es für ~ 80% der Menschen in jedem Monat Null ist, aber es gibt einen langen …

11 repeated-measures predictive-models stata panel-data validation

3

Was ist eine Konsistenzprüfung?

Mir wurde die Frage gestellt: "Haben Sie in Ihrer täglichen Arbeit eine Konsistenzprüfung durchgeführt?" während eines Telefoninterviews für eine Position als Biostatistiker. Ich weiß nicht, was ich antworten soll. Jede Information wird geschätzt.

11 validation

3

Aufteilen von Zeitreihendaten in Zug- / Test- / Validierungssätze

Was ist der beste Weg, um Zeitreihendaten in Zug- / Test- / Validierungssätze aufzuteilen, wobei der Validierungssatz für die Optimierung von Hyperparametern verwendet wird? Wir haben tägliche Verkaufsdaten im Wert von 3 Jahren. Unser Plan ist es, 2015-2016 als Trainingsdaten zu verwenden, dann 10 Wochen aus den 2017-Daten, die als …

11 time-series cross-validation validation

2

Wie erstelle ich einen repräsentativen Stichprobensatz aus einem großen Gesamtdatensatz?

Mit welchen statistischen Techniken kann ein Stichprobensatz erstellt werden, der für die gesamte Bevölkerung repräsentativ ist (mit einem bekannten Konfidenzniveau)? Ebenfalls, Wie kann überprüft werden, ob die Stichprobe zum Gesamtdatensatz passt? Ist es möglich, ohne den gesamten Datensatz zu analysieren (das könnten Milliarden von Datensätzen sein)?

10 sampling sample-size validation

2

Optimism Bias - Schätzungen des Vorhersagefehlers

Das Buch Elemente des statistischen Lernens (online als PDF verfügbar) behandelt die optimistische Tendenz (7.21, Seite 229). Es heißt, dass der Optimismus-Bias die Differenz zwischen dem Trainingsfehler und dem In-Sample-Fehler ist (Fehler, der beobachtet wird, wenn an jedem der ursprünglichen Trainingspunkte neue Ergebniswerte abgetastet werden) (siehe unten). Als nächstes heißt …

9 error bias validation

4

Berechnung des Verhältnisses der für die Modellanpassung / Schulung und Validierung verwendeten Probendaten

Bereitstellung einer Stichprobengröße "N", die ich zur Vorhersage von Daten verwenden möchte. Wie kann ich die Daten so unterteilen, dass ich einige davon zum Erstellen eines Modells und die restlichen Daten zum Validieren des Modells verwende? Ich weiß, dass es keine Schwarz-Weiß-Antwort darauf gibt, aber es wäre interessant, einige "Faustregeln" …

9 machine-learning modeling sample validation

2

Was ist der Unterschied zwischen Sensitivitätsanalyse und Modellvalidierung?

Ich habe beide Wikipedia-Seiten zur Sensitivitätsanalyse und Modellvalidierung gelesen (hier nur lineare Regressionsvalidierung), aber es gelingt mir nicht, diese beiden Begriffe zu trennen. Ich habe den Eindruck, dass der erste eher in der Wissenschaft und im Ingenieurwesen im Allgemeinen und der zweite in der "Datenwissenschaft" verwendet wird. Eine Option, die …

9 validation sensitivity-analysis

1

Best Practices zum Messen und Vermeiden von Überanpassungen?

Ich entwickle automatisierte Handelssysteme für die Börse. Die große Herausforderung war die Überanpassung. Können Sie einige Ressourcen empfehlen, die Methoden zur Messung und Vermeidung von Überanpassungen beschreiben? Ich habe mit Trainings- / Validierungssätzen begonnen, aber der Validierungssatz wird immer verschmutzt. Außerdem ändern sich die Zeitreihendaten ständig, da sich der Markt …

9 time-series machine-learning dataset data-mining validation

4

Ist es obligatorisch, Ihre Daten zu unterteilen, um ein Modell zu validieren?

Es fällt mir schwer, bei der Validierung meines Modells auf die gleiche Seite wie mein Vorgesetzter zu gelangen. Ich habe die Rückstände analysiert (anhand der angepassten Werte beobachtet) und dies als Argument verwendet, um die von meinem Modell erzielten Ergebnisse zu diskutieren. Mein Vorgesetzter besteht jedoch darauf, dass die einzige …

8 r references glmm validation glmmtmb

Als «validation» getaggte Fragen