Statistiken und Big Data model-selection

3

Empirische Begründung für die eine Standardfehlerregel bei Verwendung der Kreuzvalidierung

Gibt es empirische Studien, die die Anwendung der einen Standardfehlerregel zugunsten von Sparsamkeit rechtfertigen? Es hängt natürlich vom Datenerzeugungsprozess der Daten ab, aber alles, was einen großen Datenbestand analysiert, wäre eine sehr interessante Lektüre. Die "Ein-Standard-Fehler-Regel" wird angewendet, wenn Modelle durch Kreuzvalidierung (oder allgemeiner durch ein zufallsbasiertes Verfahren) ausgewählt werden. …

39 cross-validation model-selection regularization

5

Negative Werte für AICc (korrigiertes Akaike-Informationskriterium)

Ich habe AIC und AICc berechnet, um zwei allgemeine lineare gemischte Modelle zu vergleichen. Die AICs sind positiv, wobei Modell 1 einen niedrigeren AIC als Modell 2 aufweist. Die Werte für AICc sind jedoch beide negativ (Modell 1 ist immer noch <Modell 2). Ist es gültig, negative AICc-Werte zu verwenden …

39 mixed-model model-selection aic

1

Wann ist eine verschachtelte Kreuzvalidierung wirklich erforderlich und kann einen praktischen Unterschied bewirken?

Wenn Sie eine Kreuzvalidierung für die Modellauswahl (wie z. B. die Optimierung von Hyperparametern) verwenden und die Leistung des besten Modells bewerten, sollten Sie eine verschachtelte Kreuzvalidierung verwenden . Die äußere Schleife dient zur Bewertung der Leistung des Modells, und die innere Schleife dient zur Auswahl des besten Modells. Das …

36 cross-validation model-selection ridge-regression

7

Auswählen von Variablen, die in ein Modell mit mehreren linearen Regressionen aufgenommen werden sollen

Ich arbeite derzeit daran, ein Modell mit einer multiplen linearen Regression zu erstellen. Nachdem ich mit meinem Modell herumgespielt habe, bin ich mir nicht sicher, wie ich am besten bestimmen kann, welche Variablen aufbewahrt und welche entfernt werden sollen. Mein Modell startete mit 10 Prädiktoren für den DV. Bei Verwendung …

35 regression multiple-regression feature-selection modeling model-selection

3

Was bedeutet das Akaike Information Criterion (AIC) eines Modells?

Ich habe hier einige Fragen darüber gesehen, was es in Laienbegriffen bedeutet, aber diese sind zu Laien für meinen Zweck hier. Ich versuche mathematisch zu verstehen, was der AIC-Score bedeutet. Gleichzeitig möchte ich keinen strengen Beweis, der mich die wichtigeren Punkte nicht erkennen lässt. Wenn dies zum Beispiel ein Kalkül …

34 self-study model-selection aic entropy information-theory

2

Modellauswahl und Kreuzvalidierung: Der richtige Weg

In CrossValidated gibt es zahlreiche Threads zum Thema Modellauswahl und Kreuzvalidierung. Hier sind ein paar: Interne und externe Kreuzvalidierung und Modellauswahl @ DikranMarsupials beste Antwort auf Feature-Auswahl und Kreuzvalidierung Die Antworten auf diese Themen sind jedoch eher allgemein gehalten und heben hauptsächlich die Probleme hervor, die bei bestimmten Ansätzen zur …

34 cross-validation model-selection

3

Wie überwindet die Kreuzvalidierung das Problem der Überanpassung?

Warum löst ein Kreuzvalidierungsverfahren das Problem der Überanpassung eines Modells?

34 regression model-selection cross-validation

6

Data Mining: Wie soll ich vorgehen, um das funktionale Formular zu finden?

Ich bin gespannt auf wiederholbare Verfahren , die verwendet werden können , die funktionale Form der Funktion zu entdecken , y = f(A, B, C) + error_termwo meine einzige Eingabe eine Reihe von Beobachtungen ist ( y, A, Bund C). Bitte beachten Sie, dass die Funktionsform funbekannt ist. Betrachten Sie …

34 regression machine-learning algorithms model-selection data-mining

1

Was sind prädiktive Nachkontrollen und was macht sie nützlich?

Ich verstehe die posteriore Vorhersageverteilung und habe über posteriore Vorhersageprüfungen gelesen , obwohl mir noch nicht klar ist, was sie bewirkt. Was genau ist der hintere prädiktive Check? Warum sagen manche Autoren, dass die Durchführung von Vorhersagetests im Nachhinein "die Daten zweimal verwenden" und nicht missbraucht werden sollten? (oder sogar, …

33 bayesian model-selection posterior

5

AIC-Richtlinien bei der Modellauswahl

Ich benutze normalerweise BIC, da ich verstehe, dass es Parsimonie stärker schätzt als AIC. Ich habe mich jetzt jedoch für einen umfassenderen Ansatz entschieden und möchte auch AIC verwenden. Ich weiß, dass Raftery (1995) gute Richtlinien für BIC-Unterschiede vorgelegt hat: 0-2 ist schwach, 2-4 ist ein positiver Beweis dafür, dass …

32 r model-selection references aic bic

6

Sollte Sparsamkeit wirklich noch der Goldstandard sein?

Nur ein Gedanke: Sparsame Modelle waren bei der Modellauswahl immer die Standardanwendung, aber inwieweit ist dieser Ansatz veraltet? Ich bin gespannt, wie sehr unsere Neigung zur Sparsamkeit ein Relikt aus einer Zeit von Abakus und Rechenschiebern (oder, im Ernst, nicht modernen Computern) ist. Die heutige Rechenleistung ermöglicht es uns, immer …

31 predictive-models model-selection model

3

Ist es möglich, AIC und BIC für Lasso-Regressionsmodelle zu berechnen?

Ist es möglich, AIC- oder BIC-Werte für Lasso-Regressionsmodelle und andere regulierte Modelle zu berechnen, bei denen Parameter nur teilweise in die Gleichung eingehen? Wie bestimmt man die Freiheitsgrade? Ich verwende R, um Lasso-Regressionsmodelle mit der glmnet()Funktion aus dem glmnetPaket zu versehen, und möchte wissen, wie AIC- und BIC-Werte für ein …

31 r model-selection lasso aic bic

1

Kreuzvalidierungsmissbrauch (Reporting-Leistung für den besten Hyperparameter-Wert)

Kürzlich bin ich auf ein Dokument gestoßen, das die Verwendung eines k-NN- Klassifikators für einen bestimmten Datensatz vorschlägt . Die Autoren verwendeten alle verfügbaren Datenproben, um eine k-fache Kreuzvalidierung für verschiedene k- Werte durchzuführen und Kreuzvalidierungsergebnisse der besten Hyperparameterkonfiguration zu melden. Meines Wissens ist dieses Ergebnis verzerrt, und sie sollten …

30 cross-validation references model-selection model-evaluation

3

ob Indikator / Binär / Dummy-Prädiktoren für LASSO neu skaliert werden sollen

Für das LASSO (und andere Modellauswahlverfahren) ist es entscheidend, die Prädiktoren neu zu skalieren. Die allgemeine Empfehlung, der ich folge, ist einfach, eine Normierung mit 0 Mittelwerten und 1 Standardabweichung für kontinuierliche Variablen zu verwenden. Aber was gibt es mit Dummies zu tun? ZB einige angewandte Beispiele aus derselben (ausgezeichneten) …

30 predictive-models model-selection lasso standardization multidimensional-scaling

5

Auswahl des besten Modells unter verschiedenen „besten“ Modellen

Wie wählt man ein Modell aus verschiedenen Modellen aus, die nach verschiedenen Methoden ausgewählt wurden (z. B. Rückwärts- oder Vorwärtsauswahl)? Was ist auch ein sparsames Modell?

28 regression model-selection

Als «model-selection» getaggte Fragen