Statistiken und Big Data model-selection

1

Wie erstelle ich das endgültige Modell und optimiere den Wahrscheinlichkeitsschwellenwert nach einer verschachtelten Kreuzvalidierung?

Erstens, Entschuldigung für das Posten einer Frage, die hier , hier , hier , hier , hier bereits ausführlich besprochen wurde, und zum Aufwärmen eines alten Themas. Ich weiß, dass @DikranMarsupial ausführlich über dieses Thema in Beiträgen und Fachzeitschriften geschrieben hat, aber ich bin immer noch verwirrt, und der Anzahl …

17 machine-learning cross-validation model-selection glmnet hyperparameter

2

Ist die Verwendung der Korrelationsmatrix zur Auswahl der Prädiktoren für die Regression korrekt?

Vor ein paar Tagen erzählte mir ein Psychologe und Forscher von seiner Methode zur Auswahl von Variablen für ein lineares Regressionsmodell. Ich denke, es ist nicht gut, aber ich muss jemanden fragen, um sicherzugehen. Die Methode ist: Betrachten Sie die Korrelationsmatrix zwischen allen Variablen (einschließlich der abhängigen Variablen Y) und …

17 regression correlation model-selection

1

Warum wird das Akaike-Informationskriterium beim maschinellen Lernen nicht häufiger verwendet?

Ich bin gerade auf das "Akaike-Informationskriterium" gestoßen und habe diese große Menge an Literatur zur Modellauswahl bemerkt (auch Dinge wie BIC scheinen zu existieren). Warum nutzen moderne Methoden des maschinellen Lernens diese Auswahlkriterien für BIC- und AIC-Modelle nicht?

16 machine-learning model-selection aic bic

1

Ist die private Bestenliste von Kaggle ein guter Indikator für die Out-of-Sample-Leistung des Gewinnermodells?

Während die Ergebnisse des privaten Testsets nicht zur weiteren Verfeinerung des Modells verwendet werden können, wird doch anhand der Ergebnisse des privaten Testsets eine Modellauswahl aus einer Vielzahl von Modellen durchgeführt. Würden Sie nicht allein durch diesen Prozess zu einer Überanpassung des privaten Test-Sets führen? Laut "Pseudomathematik und Finanzscharlatanismus: Die …

16 model-selection overfitting out-of-sample

1

Problem beim Definieren der ARIMA-Bestellung

Dies ist ein langer Beitrag, also hoffe ich, dass Sie ihn mit mir tragen können, und bitte korrigieren Sie mich, wo ich falsch liege. Mein Ziel ist es, eine tägliche Prognose auf der Grundlage von historischen Daten für 3 oder 4 Wochen zu erstellen. Die Daten sind 15-Minuten-Daten der lokalen …

16 forecasting arima model-selection seasonality fourier-transform

7

Was ist die Definition von "best", wie sie im Begriff "best fit" und Kreuzvalidierung verwendet wird?

Wenn Sie eine nichtlineare Funktion an eine Menge von Punkten anpassen (vorausgesetzt, es gibt nur eine Ordinate für jede Abszisse), kann das Ergebnis entweder sein: eine sehr komplexe Funktion mit kleinen Residuen eine sehr einfache Funktion mit großen Residuen Kreuzvalidierung wird häufig verwendet, um den "besten" Kompromiss zwischen diesen beiden …

16 model-selection cross-validation

3

ROC vs Precision-Recall-Kurven bei unausgeglichenem Datensatz

Ich habe gerade das Lesen dieses Diskussion . Sie argumentieren, dass PR AUC bei unausgeglichenen Datensätzen besser ist als ROC AUC. Zum Beispiel haben wir 10 Proben im Testdatensatz. 9 Proben sind positiv und 1 ist negativ. Wir haben ein schreckliches Modell, das alles Positive vorhersagt. Wir haben also eine …

16 machine-learning model-selection roc unbalanced-classes precision-recall

5

Kann ich Koeffizienten für nicht signifikante Faktorstufen in einem linearen Modell ignorieren?

Nachdem ich hier die linearen Modellkoeffizienten geklärt habe, habe ich eine weitere Frage bezüglich der Nicht-Signifikanz (hoher p-Wert) für Koeffizienten von Faktorstufen. Beispiel: Wenn mein lineares Modell einen Faktor mit 10 Stufen enthält und nur 3 dieser Stufen mit signifikanten p-Werten verknüpft sind, kann ich bei Verwendung des Modells zur …

15 statistical-significance linear-model model-selection regression-coefficients regression-strategies

2

LASSO / LARS vs. GETS-Methode (General to Specific)

Ich habe mich gefragt, warum LASSO- und LARS-Modellauswahlmethoden so beliebt sind, obwohl sie im Grunde genommen nur Variationen der schrittweisen Vorauswahl sind (und daher unter Pfadabhängigkeit leiden). Warum werden GETS-Methoden (General to Specific) für die Modellauswahl meist ignoriert, obwohl sie besser sind als LARS / LASSO, weil sie nicht unter …

15 feature-selection model-selection lasso stepwise-regression lars

4

Vergleich von Mischeffektmodellen mit der gleichen Anzahl von Freiheitsgraden

Ich habe ein Experiment, das ich hier zu abstrahieren versuchen werde. Stellen Sie sich vor, ich werfe drei weiße Steine vor Sie und bitte Sie, ein Urteil über ihre Position zu fällen. Ich nehme eine Vielzahl von Eigenschaften der Steine und Ihre Reaktion auf. Ich mache das über eine Reihe …

15 r mixed-model model-selection

3

Auswahl des optimalen K für KNN

Ich habe einen 5-fachen Lebenslauf durchgeführt, um das optimale K für KNN auszuwählen. Und es scheint, je größer K wird, desto kleiner wird der Fehler ... Es tut mir leid, dass ich keine Legende hatte, aber die verschiedenen Farben repräsentieren verschiedene Versuche. Insgesamt gibt es 5, und es scheint, als …

15 model-selection k-nearest-neighbour

1

Wie interpretiere ich die Kovarianzmatrix aus einer Kurvenanpassung?

Ich bin nicht so gut in Statistik, also entschuldige mich, wenn dies eine vereinfachende Frage ist. Ich passe eine Kurve an einige Daten an, und manchmal passen meine Daten am besten zu einem negativen Exponential in der Form a∗e(−b∗x)+ca∗e(−b∗x)+ca * e^{(-b * x)} + c , und manchmal ist die …

15 variance model-selection python curve-fitting covariance-matrix

4

Optimale Elfmeterauswahl für Lasso

Gibt es analytische Ergebnisse oder experimentelle Arbeiten zur optimalen Wahl des Koeffizienten für den Strafzeitpunkt ? ℓ1ℓ1\ell_1Mit optimal meine ich einen Parameter, der die Wahrscheinlichkeit der Auswahl des besten Modells maximiert oder den erwarteten Verlust minimiert. Ich frage, weil es oft unpraktisch ist, den Parameter durch Kreuzvalidierung oder Bootstrap zu …

15 model-selection lasso shrinkage

1

Welche Mehrfachvergleichsmethode kann für ein älteres Modell verwendet werden: lsmeans oder glht?

Ich analysiere einen Datensatz unter Verwendung eines gemischten Effektmodells mit einem festen Effekt (Bedingung) und zwei zufälligen Effekten (Teilnehmer aufgrund des innerhalb des Motivs und des Paares). Das Modell wurde mit dem erzeugten lme4Paket: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Als nächstes führte ich einen Likelihood-Ratio-Test dieses Modells gegen das Modell ohne festen Effekt (Bedingung) …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

Am besten empfohlene Lehrbücher zum Bootstrap-Resampling?

Ich wollte nur fragen, welche Ihrer Meinung nach die besten verfügbaren Bücher über Bootstrap da draußen sind. Damit meine ich nicht unbedingt nur das, was die Entwickler geschrieben haben. Könnten Sie bitte angeben, welches Lehrbuch für Sie das beste für Bootstrap ist, das die folgenden Kriterien abdeckt? Die philosophische / …

14 sampling model-selection bootstrap references resampling

Als «model-selection» getaggte Fragen