Statistiken und Big Data

[Der ursprüngliche Titel "Ähnlichkeitsmessung für hierarchische Clusterbäume" wurde später von @ttnphns geändert, um das Thema besser widerzuspiegeln.] Ich führe eine Reihe von hierarchischen Clusteranalysen für einen Datenrahmen von Patientenakten durch (z. B. ähnlich wie http://www.biomedcentral.com/1471-2105/5/126/figure/F1?highres=y ). Ich experimentiere mit verschiedenen Distanzmaßen , verschiedenen Parametergewichten und verschiedenen hierarchischen Methoden , um …

28 r  clustering  distance-functions  similarities  dendrogram 

Ich möchte einen p-Wert und eine Effektgröße einer unabhängigen kategorialen Variablen (mit mehreren Ebenen) erhalten - das ist "insgesamt" und nicht für jede Ebene separat, wie es die normale Ausgabe von lme4in R ist. Es ist genau wie das, was die Leute berichten, wenn sie eine ANOVA betreiben. Wie kann …

28 r  hypothesis-testing  anova  mixed-model  lme4-nlme 

Ich versuche zu verstehen, was die Annahme unabhängiger Beobachtungen bedeutet. Einige Definitionen sind: "Zwei Ereignisse sind genau dann unabhängig, wenn ." ( Statistisches Wörterbuch )P(a∩b)=P(a)∗P(b)P(a∩b)=P(a)∗P(b)P(a \cap b) = P(a) * P(b) "Das Eintreten eines Ereignisses ändert nicht die Wahrscheinlichkeit für ein anderes" ( Wikipedia ). "Die Auswahl einer Beobachtung hat …

28 probability  sampling  multilevel-analysis  independence  assumptions 

Was ist der Unterschied zwischen den Algorithmen EM (Expectation Maximization) und Gradient Ascent (oder Descent)? Gibt es eine Bedingung, unter der sie gleichwertig sind?

28 gradient-descent  expectation-maximization 

Man betrachte unabhängige Stichproben die aus einer Zufallsvariablen , von der angenommen wird, dass sie einer abgeschnittenen Verteilung (z. B. einer abgeschnittenen Normalverteilung ) bekannter (endlicher) Minimal- und Maximalwerte und aber unbekannter Parameter und folgen . Wenn einer nicht abgeschnittenen Verteilung folgt, wären die Maximum-Likelihood-Schätzer und für und aus der …

28 distributions  estimation  mathematical-statistics  maximum-likelihood  truncation 

Ich arbeite daran, Wahrscheinlichkeit und Statistik zu lernen, indem ich ein paar Bücher lese und Code schreibe, und während ich Münzwürfe simuliere, bemerke ich etwas, das meiner naiven Intuition leicht widerspricht. Wenn Sie mal eine faire Münze werfen, konvergiert das Verhältnis von Kopf zu Zahl gegen 1, wenn zunimmt, genau …

28 probability  computational-statistics 

Nehmen Sie als Beispiel die objektive Funktion des XGBoost-Modells in der ttt -ten Iteration: L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) where ℓℓ\ell is the loss function, ftftf_t is the ttt'th tree output and ΩΩ\Omega is the regularization. One of the (many) key steps for fast calculation is the approximation: L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), where gigig_i and hihih_i …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Ich habe von Owens empirischer Wahrscheinlichkeit gehört, habe sie aber bis vor kurzem nicht beachtet, bis ich auf sie in einem Papier von Interesse gestoßen bin ( Mengersen et al. 2012 ). Um es zu verstehen, habe ich herausgefunden, dass die Wahrscheinlichkeit der beobachteten Daten als , wobei und .L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L=∏ipi=∏iP(Xi=x)=∏iP(Xi≤x)−P(Xi<x)L …

28 bayesian  maximum-likelihood  nonparametric  likelihood  empirical-likelihood 

Ich verstehe, dass diese Frage recht weit gefasst ist, aber ich frage mich, was die entscheidenden Punkte für die Entscheidung sein sollten, ein neues Paket für R zu erstellen (oder nicht). Um genauer zu sein, möchte ich hinzufügen, dass es bei der Frage nicht um die Gründe geht Verwenden Sie …

28 r  software 

Ich arbeite mit zwei unabhängigen Normalverteilungen und mit den Mitteln und und den Varianzen und .Y μ x μ y σ 2 x σ 2 yXXXY.Y.Yμxμx\mu_xμyμy\mu_yσ2xσx2\sigma^2_xσ2yσy2\sigma^2_y Ich bin an der Verteilung ihres Verhältnisses interessiert . Weder noch haben einen Mittelwert von Null, daher wird nicht als Cauchy verteilt.X Y ZZ= …

28 distributions  normal-distribution  references  mathematical-statistics  cdf 

Ich habe mich für Statistik interessiert, aber ich muss zugeben, dass ich Mathe schon lange nicht mehr ernst genommen habe. Manchmal verstehe ich, was Gleichungen bedeuten, aber manchmal kann ich ihnen nicht folgen. Ich mag die hier gegebene Antwort, die das Bild mit einem Pfeil verwendet: Konzeptionelles Verständnis des mittleren …

28 references 

Was ist, wenn Sie eine Zufallsstichprobe entnehmen und feststellen, dass diese eindeutig nicht repräsentativ ist, wie in einer aktuellen Frage . Was ist zum Beispiel, wenn die Populationsverteilung bei 0 symmetrisch sein soll und die Stichprobe, die Sie zufällig ziehen, ungleiche positive und negative Beobachtungen aufweist und die Ungleichheit statistisch …

28 sampling  experiment-design  inference  sample 

Ich bin ein Student, der ein Interesse für Statistik entwickelt. Ich mag das Material über alles, aber manchmal fällt es mir schwer, über Anwendungen für das wirkliche Leben nachzudenken. Insbesondere geht es bei meiner Frage um häufig verwendete statistische Verteilungen (normal - Beta-Gamma usw.). Ich denke, in einigen Fällen erhalte …

28 normal-distribution  references  gamma-distribution  beta-distribution  application 

Es gibt eine Frage mit ähnlicher Absicht für Programmierer . Diese Frage hat einige recht gute Antworten, aber das allgemeine Thema scheint zu sein, dass man ohne Selbststudium nirgendwo hinkommt. Offensichtlich gibt es einen großen Unterschied zwischen Programmieren und Statistik - beim Programmieren lernt man eigentlich nur eine grundlegende Logik …

28 self-study  references  teaching 

Ich hoffe, diese Frage stört Sie alle nicht, aber ich brauche Hilfe bei der Interpretation der Ausgabe für ein lineares Mischeffektmodell, das ich in R lernen wollte. Ich bin neu in der Längsschnittdatenanalyse und der linearen Mischeffektregression. Ich habe ein Modell, das ich mit Wochen als Zeitprädiktor ausstattete, und als …

28 r  mixed-model  interpretation  panel-data