Statistiken und Big Data

Ich habe eine Frage zur Berechnung des James-Stein-Schrumpfungsfaktors in dem 1977 erschienenen Scientific American Paper von Bradley Efron und Carl Morris, "Stein's Paradox in Statistics" . Ich habe die Daten für die Baseballspieler gesammelt und sie sind unten angegeben: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, …

18 estimation  shrinkage  steins-phenomenon 

Hat dieser Diagrammtyp einen Namen? Noch wichtiger ist, gibt es eine Visualisierungsbibliothek, mit der ich sie erstellen kann? http://www.nytimes.com/interactive/2007/12/15/us/politics/DEBATE.html

18 data-visualization 

Ich benutze derzeit Viterbi-Training für ein Bildsegmentierungsproblem. Ich wollte wissen, welche Vor- und Nachteile die Verwendung des Baum-Welch-Algorithmus anstelle des Viterbi-Trainings hat.

18 machine-learning  hidden-markov-model  image-processing  viterbi-algorithm  baum-welch 

Ich möchte einen Algorithmus entwickeln, der in der Lage ist, beliebige Zeitreihen zu analysieren und "automatisch" die beste traditionelle / statistische Prognosemethode (und ihre Parameter) für die analysierten Zeitreihendaten auszuwählen. Wäre es möglich so etwas zu machen? Wenn ja, können Sie mir einige Tipps geben, wie dies angegangen werden kann?

18 time-series  forecasting  python 

Ich versuche zu verstehen, was der Zweck der Verlustfunktion ist, und ich kann es nicht ganz verstehen. Nach meinem Verständnis dient die Verlustfunktion zur Einführung einer Art Metrik, mit der wir die "Kosten" einer falschen Entscheidung messen können. Nehmen wir an, ich habe einen Datensatz von 30 Objekten. Ich habe …

18 machine-learning  loss-functions 

Dies ist mein Datenrahmen: Group <- c("G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3") Subject <- c("S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15") Value <- c(9.832217741,13.62390117,13.19671612,14.68552076,9.26683366,11.67886655,14.65083473,12.20969772,11.58494621,13.58474896,12.49053635,10.28208078,12.21945867,12.58276212,15.42648969,9.466436017,11.46582655,10.78725485,10.66159358,10.86701127,12.97863424,12.85276916,8.672953949,10.44587257,13.62135205,13.64038394,12.45778874,8.655142642,10.65925259,13.18336949,11.96595556,13.5552118,11.8337142,14.01763101,11.37502161,14.14801305,13.21640866,9.141392359,11.65848845,14.20350364,14.1829714,11.26202565,11.98431285,13.77216009,11.57303893) data <- data.frame(Group, Subject, Value) Dann führe ich ein linear gemischtes Effektmodell aus, um die Differenz der 3 Gruppen zu "Value" zu vergleichen, wobei "Subject" der Zufallsfaktor ist: library(lme4) library(lmerTest) model <- lmer (Value~Group + (1|Subject), data …

18 r  lme4-nlme  post-hoc 

Ich denke, dies ist eine grundlegende Frage, die mit der Richtung des Gradienten selbst zu tun hat, aber ich suche nach Beispielen, bei denen Methoden 2. Ordnung (z. B. BFGS ) effektiver sind als eine einfache Gradientenabnahme.

18 optimization 

Während ich an einem Regressionsproblem arbeitete, begann ich über die Darstellung des Merkmals "Wochentag" nachzudenken. Ich frage mich, welcher Ansatz besser abschneiden würde: ein Merkmal; Wert 1/7 für Montag; 2/7 für Dienstag ... 7 Funktionen: (1, 0, 0, 0, 0, 0, 0) für Montag; (0, 1, 0, 0, 0, 0, …

18 machine-learning  neural-networks  feature-construction 

Betrachten wir die folgenden zwei Wahrscheinlichkeitsverteilungen P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 Ich habe die Kullback-Leibler-Divergenz berechnet, die gleich ist. Ich möchte im Allgemeinen wissen, was diese Zahl mir zeigt. Generell zeigt mir die Kullback-Leibler-Divergenz, wie …

18 interpretation  information-theory  kullback-leibler 

Ich weiß, dass der stochastische Gradientenabstieg ein zufälliges Verhalten hat, aber ich weiß nicht warum. Gibt es eine Erklärung dafür?

18 machine-learning  random-variable  gradient-descent 

Ich arbeite an stark unausgeglichenen Daten. In der Literatur werden verschiedene Methoden verwendet, um die Daten durch erneutes Abtasten (Über- oder Unterabtasten) neu abzugleichen. Zwei gute Ansätze sind: SMOTE: Synthetic Minority-Überabtastung ( SMOTE ) ADASYN: Adaptiver Ansatz zur synthetischen Probenahme für unausgewogenes Lernen ( ADASYN ) Ich habe ADASYN implementiert, …

18 classification  dataset  resampling  unbalanced-classes  oversampling 

Kontext : Hierarchische Regression mit einigen fehlenden Daten. Frage : Wie verwende ich die FIML-Schätzung (Full Information Maximum Likelihood), um fehlende Daten in R zu beheben? Gibt es ein Paket, das Sie empfehlen würden, und was sind typische Schritte? Auch Online-Ressourcen und Beispiele wären sehr hilfreich. PS : Ich bin …

18 r  maximum-likelihood  missing-data 

Mir ist klar, dass dies eine sehr grundlegende Frage ist, aber ich kann nirgendwo eine Antwort finden. Ich berechne Regressionskoeffizienten entweder mit den normalen Gleichungen oder mit der QR-Zerlegung. Wie kann ich Standardfehler für jeden Koeffizienten berechnen? Ich betrachte Standardfehler normalerweise als berechnet als: SEx¯ =σx¯n√SEx¯ =σx¯nSE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}} …

18 standard-error  regression-coefficients 

Gibt es einen Unterschied zwischen 'Transfer Learning' und 'Domain Adaptation'? Ich weiß nichts über den Kontext, aber ich verstehe, dass wir einen Datensatz 1 haben und darauf trainieren, woraufhin wir einen weiteren Datensatz 2 haben, für den wir unser Modell anpassen möchten, ohne von Grund auf neu zu trainieren, für …

18 deep-learning  terminology  conv-neural-network  transfer-learning  domain-adaptation 

SARSA und Q Learning sind beide Verstärkungslernalgorithmen, die auf ähnliche Weise funktionieren. Der auffälligste Unterschied ist, dass SARSA in der Politik ist, während Q Learning nicht in der Politik ist. Die Update-Regeln lauten wie folgt: Q Lernen: Q ( st, eint) ← Q ( st, eint) + α [ rt …

18 reinforcement-learning