Statistiken und Big Data model-selection

1

Ich verwende PyMC3, um Bayes'sche Modelle für meine Daten auszuführen. Ich bin neu in der Bayes'schen Modellierung, aber laut einigen Blog-Posts , Wikipedia und QA von dieser Website scheint es ein gültiger Ansatz zu sein, den Bayes-Faktor und das BIC-Kriterium zu verwenden, um auswählen zu können, welches Modell meine Daten …

11 bayesian model-selection pymc

1

Wie wähle ich die beste Anpassung aus, ohne die Daten zu überanpassen? Modellierung einer bimodalen Verteilung mit N Normalfunktionen usw.

Ich habe eine offensichtlich bimodale Werteverteilung, die ich anpassen möchte. Die Daten können entweder mit 2 normalen Funktionen (bimodal) oder mit 3 normalen Funktionen gut angepasst werden. Darüber hinaus gibt es einen plausiblen physikalischen Grund für die Anpassung der Daten an 3. Je mehr Parameter eingeführt werden, desto perfekter ist …

11 distributions normal-distribution model-selection overfitting

1

Modellauswahl beim Offline- oder Online-Lernen

Ich habe in letzter Zeit versucht, mehr über Online-Lernen zu lernen (es ist absolut faszinierend!), Und ein Thema, das ich nicht richtig verstehen konnte, ist, wie man über Modellauswahl in Offline- oder Online-Kontexten nachdenkt. Insbesondere nehmen wir trainieren ein Klassifikator offline, basierend auf einer festen Datensatz D . Wir schätzen …

11 machine-learning model-selection online

1

Fisher's Exact Test und hypergeometrische Verteilung

Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung, aber …

11 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Was mache ich, wenn die AIC-Werte niedrig und ungefähr gleich sind?

Chris Chatfield, dessen viele hochwertige Bücher und Papiere ich gerne gelesen habe, gibt in (1) folgende Ratschläge: Zum Beispiel sollte wahrscheinlich die Wahl zwischen ARIMA-Zeitreihenmodellen mit niedrigen und ungefähr gleichen AIC-Werten getroffen werden, bei denen nicht der minimale AIC angegeben wird, sondern bei denen die besten Prognosen der Daten des …

11 forecasting model-selection arima aic

3

Wann ist es angebracht, Modelle durch Minimierung des AIC auszuwählen?

Zumindest unter Statistikern höheren Kalibers ist es allgemein bekannt, dass Modelle mit Werten der AIC-Statistik innerhalb eines bestimmten Schwellenwerts des Mindestwerts als angemessen angesehen werden sollten wie das Modell zur Minimierung der AIC-Statistik. Zum Beispiel finden wir in [1, S.221] Dann wären Modelle mit kleinem GCV oder AIC am besten …

11 time-series model-selection aic

5

Was tun mit kollinearen Variablen?

Haftungsausschluss: Dies ist für ein Hausaufgabenprojekt. Ich versuche, das beste Modell für Diamantpreise zu finden, abhängig von mehreren Variablen, und ich scheine bisher ein ziemlich gutes Modell zu haben. Ich bin jedoch auf zwei Variablen gestoßen, die offensichtlich kollinear sind: >with(diamonds, cor(data.frame(Table, Depth, Carat.Weight))) Table Depth Carat.Weight Table 1.00000000 -0.41035485 …

11 regression correlation self-study model-selection multicollinearity

1

ABC-Modellauswahl

Es hat sich gezeigt, dass die Auswahl des ABC-Modells unter Verwendung von Bayes-Faktoren nicht zu empfehlen ist, da ein Fehler bei der Verwendung von Zusammenfassungsstatistiken vorliegt. Die Schlussfolgerung in diesem Artikel basiert auf der Untersuchung des Verhaltens einer beliebten Methode zur Approximation des Bayes-Faktors (Algorithmus 2). Es ist bekannt, dass …

11 bayesian model-selection prediction abc

2

Generalisierter Log Likelihood Ratio Test für nicht verschachtelte Modelle

Ich verstehe, dass ich, wenn ich zwei Modelle A und B habe und A in B verschachtelt ist, anhand einiger Daten die Parameter von A und B mithilfe von MLE anpassen und den verallgemeinerten Log-Likelihood-Ratio-Test anwenden kann. Insbesondere sollte die Verteilung des Tests mit Freiheitsgraden sein, wobei die Differenz in …

10 maximum-likelihood model-selection likelihood-ratio

2

Überlegenheit von LASSO gegenüber Vorwärtsauswahl / Rückwärtseliminierung in Bezug auf den Kreuzvalidierungs-Vorhersagefehler des Modells

Ich habe drei reduzierte Modelle von einem Original-Vollmodell mit erhalten Vorauswahl Rückwärtseliminierung L1 Bestrafungstechnik (LASSO) Für die Modelle, die unter Verwendung von Vorwärtsauswahl / Rückwärtseliminierung erhalten wurden, erhielt ich die kreuzvalidierte Schätzung des Vorhersagefehlers unter Verwendung des CVlmin DAAGverfügbaren Pakets in R. Für das über LASSO ausgewählte Modell habe ich …

10 cross-validation model-selection lasso stepwise-regression

1

Was ist der grundlegende Unterschied zwischen diesen beiden Regressionsmodellen?

Angenommen, ich habe bivariate Antworten mit signifikanter Korrelation. Ich versuche, die beiden Möglichkeiten zur Modellierung dieser Ergebnisse zu vergleichen. Eine Möglichkeit besteht darin, den Unterschied zwischen den beiden Ergebnissen zu modellieren: Eine andere Möglichkeit besteht darin, sie zu verwenden oder zu modellieren: (yi2−yi1=β0+X′β)(yi2−yi1=β0+X′β)(y_{i2}-y_{i1}=\beta_0+X'\beta)glsgee(yij=β0+time+X′β)(yij=β0+time+X′β)(y_{ij}=\beta_0+\text{time}+X'\beta) Hier ist ein Beispiel: #create foo data …

10 r regression model-selection

3

Vergleichen verschachtelter binärer logistischer Regressionsmodelle, wenn

Um meine Frage besser zu stellen, habe ich einige der Ausgaben sowohl eines 16-Variablen-Modells ( fit) als auch eines 17-Variablen-Modells ( fit2) unten bereitgestellt (alle Prädiktorvariablen in diesen Modellen sind kontinuierlich, wobei der einzige Unterschied zwischen diesen Modellen darin besteht, dass fitdies nicht der Fall ist enthalten Variable 17 (var17)): …

10 r regression logistic model-selection large-data

1

Vergleich der Verteilungen der Generalisierungsleistung

Angenommen, ich habe zwei Lernmethoden für ein Klassifizierungsproblem , und , und ich schätze ihre Generalisierungsleistung mit etwas wie wiederholter Kreuzvalidierung oder Bootstrapping. Durch diesen Prozess erhalte ich eine Verteilung der Bewertungen und für jede Methode über diese Wiederholungen (z. B. die Verteilung der ROC-AUC-Werte für jedes Modell).AAABBB PAPAP_APBPBP_B Wenn …

10 cross-validation model-selection

1

Bayes-Faktoren mit unpassenden Prioritäten

Ich habe eine Frage zum Modellvergleich mit Bayes-Faktoren. In vielen Fällen sind Statistiker daran interessiert, einen Bayes'schen Ansatz mit falschen Priors zu verwenden (zum Beispiel einige Jeffreys-Priors und Referenzpriors). Meine Frage ist, ob es in den Fällen, in denen die posteriore Verteilung der Modellparameter genau definiert ist, gültig ist, Modelle …

10 bayesian model-selection prior

1

Fragen zur Angabe linearer gemischter Modelle in R für Daten mit wiederholten Messungen mit zusätzlicher Verschachtelungsstruktur

Datenstruktur > str(data) 'data.frame': 6138 obs. of 10 variables: $ RT : int 484 391 422 516 563 531 406 500 516 578 ... $ ASCORE : num 5.1 4 3.8 2.6 2.7 6.5 4.9 2.9 2.6 7.2 ... $ HSCORE : num 6 2.1 7.9 1 6.9 8.9 8.2 …

10 r mixed-model repeated-measures model-selection lme4-nlme

Als «model-selection» getaggte Fragen