Statistiken und Big Data modeling

1

Ich habe das Modell mit optimiert caret, aber dann das Modell mit dem gbmPaket erneut ausgeführt. Nach meinem Verständnis sollten das verwendete caretPaket gbmund die Ausgabe identisch sein. Nur ein kurzer Testlauf mit data(iris)zeigt jedoch eine Diskrepanz im Modell von etwa 5% unter Verwendung von RMSE und R ^ 2 …

12 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

5

Wie führt man eine Imputation von Werten in einer sehr großen Anzahl von Datenpunkten durch?

Ich habe einen sehr großen Datensatz und es fehlen ungefähr 5% zufällige Werte. Diese Variablen sind miteinander korreliert. Der folgende Beispiel-R-Datensatz ist nur ein Spielzeugbeispiel mit Dummy-korrelierten Daten. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

1

Modellierung, wenn die abhängige Variable einen "Cut-Off" hat

Bitte entschuldigen Sie im Voraus, falls eine der von mir verwendeten Begriffe nicht korrekt ist. Ich würde jede Korrektur begrüßen. Wenn das, was ich als "Abschaltung" beschreibe, einen anderen Namen hat, lass es mich wissen und ich kann die Frage aktualisieren. Die Situation, die mich interessiert, ist folgende: Sie haben …

12 regression modeling survival censoring

1

Kriterien für die Auswahl des „besten“ Modells in einem Hidden-Markov-Modell

Ich habe einen Zeitreihendatensatz, an den ich ein Hidden Markov Model (HMM) anpasse, um die Anzahl der latenten Zustände in den Daten abzuschätzen. Mein Pseudocode dafür ist der folgende: for( i in 2 : max_number_of_states ){ ... calculate HMM with i states ... optimal_number_of_states = "model with smallest BIC" ... …

12 r aic hidden-markov-model bic spss manova time-series r lme4-nlme regression modeling negative-binomial bayesian bugs state-space-models hypothesis-testing data-transformation factor-analysis sem

1

Unterschiede zwischen PROC Mixed und lme / lmer in R - Freiheitsgraden

Hinweis: Diese Frage ist ein Repost, da meine vorherige Frage aus rechtlichen Gründen gelöscht werden musste. Beim Vergleich von PROC MIXED von SAS mit der Funktion lmeaus dem nlmePaket in R bin ich auf einige verwirrende Unterschiede gestoßen. Insbesondere unterscheiden sich die Freiheitsgrade in den verschiedenen Tests zwischen PROC MIXEDund …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Parametrische Modellierung der Varianz von Zähldaten

Ich möchte einige Daten modellieren, bin mir jedoch nicht sicher, welchen Modelltyp ich verwenden kann. Ich habe Zähldaten und möchte ein Modell, das parametrische Schätzungen sowohl des Mittelwerts als auch der Varianz der Daten liefert. Das heißt, ich habe verschiedene Vorhersagefaktoren und möchte feststellen, ob einer von ihnen die Varianz …

12 variance modeling count-data overdispersion gamlss

1

Was ist eine gute Vorabverteilung für Freiheitsgrade bei der Verteilung?

Ich möchte bei der Verteilung verwenden, um Asset-Renditen mit kurzen Intervallen in einem Bayes'schen Modell zu modellieren. Ich möchte beide Freiheitsgrade (zusammen mit anderen Parametern in meinem Modell) für die Verteilung schätzen. Ich weiß, dass Anlagenrenditen nicht ganz normal sind, aber darüber hinaus weiß ich nicht viel. Was ist eine …

12 distributions bayesian modeling prior

1

Wann muss ich aufhören, nach einem Modell zu suchen?

Ich suche ein Modell zwischen den Energiekursen und dem Wetter. Ich habe den Preis des MWatt zwischen den Ländern Europas gekauft und viele Werte auf das Wetter (Grib-Dateien). Jede Stunde in einem Zeitraum von 5 Jahren (2011-2015). Preis / Tag Dies ist pro Tag für ein Jahr. Ich habe dies …

11 time-series forecasting predictive-models modeling large-data

1

Fisher's Exact Test und hypergeometrische Verteilung

Ich wollte den genauen Test des Fischers besser verstehen, deshalb habe ich das folgende Spielzeugbeispiel entwickelt, bei dem f und m männlich und weiblich und n und y dem "Sodakonsum" wie folgt entsprechen: > soda_gender f m n 0 5 y 5 0 Dies ist natürlich eine drastische Vereinfachung, aber …

11 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Anpassen einer Exponentialfunktion unter Verwendung der kleinsten Quadrate gegenüber dem verallgemeinerten linearen Modell gegenüber den nichtlinearen kleinsten Quadraten

y= B ea xy=B.eeinxy = Be^{ax}

11 modeling generalized-linear-model least-squares nonlinear-regression curve-fitting

5

Messung der Regression auf den Mittelwert beim Schlagen von Home Runs

Jeder, der Baseball folgt, hat wahrscheinlich von der aus dem Nichts stammenden MVP-Leistung von Jose Bautista aus Toronto gehört. In den letzten vier Jahren erzielte er ungefähr 15 Homeruns pro Saison. Letztes Jahr erreichte er 54, eine Zahl, die von nur 12 Spielern in der Baseballgeschichte übertroffen wurde. Im Jahr …

11 r regression modeling

10

Gründe neben der Vorhersage, Modelle zu bauen?

Joshua Epstein schrieb einen Artikel mit dem Titel "Warum Model?" verfügbar unter http://www.santafe.edu/media/workingpapers/08-09-040.pdf, in dem 16 Gründe angegeben sind: Erklären (sehr verschieden von vorhersagen) Leitfaden Datenerfassung Kerndynamik beleuchten Schlagen Sie dynamische Analogien vor Entdecke neue Fragen Fördern Sie eine wissenschaftliche Geistesgewohnheit Gebundene (Klammer) Ergebnisse zu plausiblen Bereichen Kernunsicherheiten beleuchten. Bieten …

11 modeling

1

R / mgcv: Warum produzieren te () und ti () Tensorprodukte unterschiedliche Oberflächen?

Das mgcvPaket für Rhat zwei Funktionen zum Anpassen von Tensorproduktwechselwirkungen: te()und ti(). Ich verstehe die grundlegende Arbeitsteilung zwischen den beiden (Anpassen einer nichtlinearen Wechselwirkung vs. Zerlegen dieser Wechselwirkung in Haupteffekte und eine Wechselwirkung). Was ich nicht verstehe, ist warum te(x1, x2)und ti(x1) + ti(x2) + ti(x1, x2)kann (leicht) unterschiedliche Ergebnisse …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

4

Lineare Modelle protokollieren

Kann jemand bitte erklären, warum wir logarithmische lineare Modelle sehr laienhaft verwenden? Ich komme aus dem Ingenieurwesen, und das ist wirklich ein schwieriges Thema für mich, also Statistik. Ich werde für eine Antwort dankbar sein.

11 modeling log-linear

7

Vermeidung sozialer Diskriminierung beim Modellbau

Ich habe Fragen, die vom jüngsten Rekrutierungsskandal bei Amazon inspiriert wurden, bei dem ihnen die Diskriminierung von Frauen in ihrem Rekrutierungsprozess vorgeworfen wurde. Mehr Infos hier : Die Spezialisten für maschinelles Lernen von Amazon.com Inc haben ein großes Problem aufgedeckt: Ihre neue Rekrutierungs-Engine mochte keine Frauen. Das Team hatte seit …

10 predictive-models modeling model

Als «modeling» getaggte Fragen