Statistiken und Big Data sampling

3

Cluster Big Data in R und ist Stichproben relevant?

Ich bin neu in der Datenwissenschaft und habe ein Problem beim Finden von Clustern in einem Datensatz mit 200.000 Zeilen und 50 Spalten in R. Da die Daten sowohl numerische als auch nominale Variablen enthalten, erscheinen Methoden wie K-means, die das euklidische Distanzmaß verwenden, nicht als geeignete Wahl. Ich wende …

13 r clustering sampling large-data

3

Schätzen Sie die Größe einer Population, die beprobt wird, anhand der Anzahl der wiederholten Beobachtungen

Angenommen, ich habe eine Bevölkerung von 50 Millionen Unikaten, und ich nehme 10 Millionen Proben (mit Ersatz) ... Die erste Grafik, die ich beigefügt habe, zeigt, wie oft ich das gleiche "Ding" probiere, was relativ selten ist wie die Bevölkerung ist größer als meine Stichprobe. Wenn meine Bevölkerung jedoch nur …

13 r sampling expectation-maximization

1

Halton-Sequenz gegen Sobol-Sequenz?

Aus einer Antwort in einer früheren Frage ging ich auf die Halton-Sequenz ein, um eine Reihe von Vektoren zu erstellen, die einen einheitlichen Probenraum ziemlich gleichmäßig abdecken. Auf der Wikipedia-Seite wird jedoch erwähnt, dass besonders höhere Primzahlen zu Beginn der Serie häufig stark korrelieren. Dies scheint für jedes Paar hoher …

13 sampling small-sample quasi-monte-carlo

5

Warum wird behauptet, dass eine Stichprobe oft genauer ist als eine Volkszählung?

Beim Erlernen des Sampling-Kurses treffe ich die folgenden zwei Aussagen: 1) Abtastfehler führen meist zu Variabilität, Nichtabtastfehler zu Verzerrungen. 2) Aufgrund eines Nichtabtastungsfehlers ist eine Stichprobe häufig genauer als ein CENSUS. Ich weiß nicht, wie ich diese beiden Aussagen verstehen soll. Was ist die zugrunde liegende Logik, um diese beiden …

13 estimation sampling survey bias

3

Warum setzen mehrere (wenn nicht alle) parametrische Hypothesentests eine Zufallsstichprobe voraus?

Tests wie Z, t und einige andere gehen davon aus, dass die Daten auf einer Zufallsstichprobe basieren. Warum? Angenommen, ich mache experimentelle Forschungen, bei denen mir die interne Gültigkeit viel mehr am Herzen liegt als die externe. Also, wenn meine Stichprobe ein bisschen voreingenommen sein könnte, okay, da ich zugestimmt …

12 hypothesis-testing sampling parametric randomness

2

Wie können wir eine Normalverteilung als

Angenommen, wir haben eine Zufallsvariable mit einem Wertebereich, der durch aaa und bbb , wobei aaa der Minimalwert und bbb der Maximalwert ist. Mir wurde gesagt , dass als n→∞n→∞n \to \infty , wobei nnn ist unsere Stichprobengröße, die Stichprobenverteilung unserer Stichprobe Mittel ist eine Normalverteilung. Das heißt, wenn wir …

12 normal-distribution sampling random-variable central-limit-theorem

3

Stellen Sie fest, ob sich ein verteilter Prozess mit starkem Schwanz erheblich verbessert hat

Ich beobachte die Bearbeitungszeiten eines Prozesses vor und nach einer Änderung, um festzustellen, ob sich der Prozess durch die Änderung verbessert hat. Der Prozess hat sich verbessert, wenn die Bearbeitungszeit reduziert wird. Die Verteilung der Verarbeitungszeit ist fett begrenzt, daher ist ein Vergleich anhand des Durchschnitts nicht sinnvoll. Stattdessen möchte …

12 sampling nonparametric

1

Unterschiede zwischen PROC Mixed und lme / lmer in R - Freiheitsgraden

Hinweis: Diese Frage ist ein Repost, da meine vorherige Frage aus rechtlichen Gründen gelöscht werden musste. Beim Vergleich von PROC MIXED von SAS mit der Funktion lmeaus dem nlmePaket in R bin ich auf einige verwirrende Unterschiede gestoßen. Insbesondere unterscheiden sich die Freiheitsgrade in den verschiedenen Tests zwischen PROC MIXEDund …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Wie kann man schnell X abtasten, wenn exp (X) ~ Gamma?

Ich habe ein einfaches Stichprobenproblem, bei dem meine innere Schleife wie folgt aussieht: v = sample_gamma(k, a) wobei sample_gammaProben aus der Gamma-Verteilung eine Dirichlet-Probe bilden. Es funktioniert gut, aber für einige Werte von k / a läuft ein Teil der nachgeschalteten Berechnung unter. Ich habe es angepasst, um Log Space-Variablen …

12 sampling gamma-distribution

1

Warum funktioniert der zentrale Grenzwertsatz mit einer einzelnen Stichprobe?

Mir wurde immer beigebracht, dass die CLT funktioniert, wenn Sie die Probenahme wiederholt haben, wobei jede Probe groß genug ist. Stellen Sie sich zum Beispiel vor, ich habe ein Land mit 1.000.000 Einwohnern. Mein Verständnis von CLT ist, dass selbst wenn die Verteilung ihrer Höhen nicht normal war, wenn ich …

12 sampling central-limit-theorem

2

MCMC-Methoden - Proben brennen?

Bei MCMC- Methoden lese ich immer wieder über die burn-inZeit oder die Anzahl der Proben "burn". Was ist das genau und warum wird es benötigt? Aktualisieren: Bleibt MCMC stabil, sobald es sich stabilisiert hat? Wie hängt der Zeitbegriff burn-inmit dem der Mischzeit zusammen?

12 sampling mcmc

1

Intuitive Beispiele für wichtige Stichproben

Mein Hintergrund ist Informatik. Ich bin ziemlich neu in Monte-Carlo-Stichprobenverfahren, und obwohl ich die Mathematik verstehe, fällt es mir schwer, intuitive Beispiele für wichtige Stichproben zu finden. Genauer gesagt, könnte jemand Beispiele nennen für: Eine ursprüngliche Verteilung, aus der man keine Stichprobe ziehen kann, die man aber schätzen kann eine …

12 probability distributions sampling importance-sampling

4

Warum überhaupt eine ersatzlose Probenahme in einer praktischen Anwendung in Betracht ziehen?

Die Probenahme mit Ersatz hat zwei Vorteile gegenüber der Probenahme ohne Ersatz, wie ich es sehe: 1) Sie müssen sich keine Sorgen um die endliche Populationskorrektur machen. 2) Es besteht die Möglichkeit, dass Elemente aus der Grundgesamtheit mehrmals gezeichnet werden. Dann können Sie die Messungen recyceln und Zeit sparen. Natürlich …

12 sampling finite-population

3

Wie kann man in R neu abtasten, ohne die Permutationen zu wiederholen?

Kann ich in R garantieren, dass ich nicht dieselbe Permutation generiere, wenn ich set.seed () setze und dann die Beispielfunktion zum Randomisieren einer Liste verwende? dh ... set.seed(25) limit <- 3 myindex <- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations <- sample(myindex) print(permutations) } Dies erzeugt [1] 1 2 0 …

12 r sampling combinatorics resampling

1

Stichprobe aus der Randverteilung unter Verwendung der bedingten Verteilung?

Ich möchte aus einer univariaten Dichte , aber nur die Beziehung:fXfXf_X fX(x)=∫fX|Y(x|y)fY(y)dy.fX(x)=∫fX|Y(x|y)fY(y)dy.f_X(x) = \int f_{X\vert Y}(x\vert y)f_Y(y) dy. Ich möchte die Verwendung von MCMC (direkt auf der Integraldarstellung) vermeiden, und da und leicht sind, habe ich mir überlegt, den folgenden Sampler zu verwenden ::fX|Y(x|y)fX|Y(x|y)f_{X\vert Y}(x\vert y)fY(y)fY(y)f_Y(y) Für .j=1,…,Nj=1,…,Nj=1,\dots, N Beispiel …

12 sampling conditional-probability monte-carlo marginal

Als «sampling» getaggte Fragen