Statistiken und Big Data r

1

Dimensionsreduktion (SVD oder PCA) auf einer großen, dünn besetzten Matrix

/ edit: Weitere Folgemaßnahmen können jetzt mit irlba :: prcomp_irlba durchgeführt werden / edit: verfolge meinen eigenen Beitrag. irlbaVerfügt nun über die Argumente "center" und "scale", mit denen Sie Hauptkomponenten berechnen können, z. pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Ich habe eine große, spärliche Anzahl Matrixvon Funktionen, …

31 r pca dimensionality-reduction svd matrix-decomposition

2

Wie zeichnet man die Entscheidungsgrenze eines k-Nächsten-Nachbarn-Klassifikators aus Elementen des statistischen Lernens?

Ich möchte die Handlung erzeugen, die im Buch ElemStatLearn "Die Elemente des statistischen Lernens: Data Mining, Inferenz und Vorhersage. Zweite Ausgabe" von Trevor Hastie & Robert Tibshirani & Jerome Friedman beschrieben ist. Die Handlung ist: Ich frage mich, wie ich dieses genaue Diagramm in erzeugen kann. RBeachten Sie insbesondere die …

31 r data-visualization k-nearest-neighbour

3

Visualisierung einer Million, PCA-Edition

Ist es möglich, die Ergebnisse der Hauptkomponentenanalyse auf eine Weise darzustellen, die mehr Einsicht bietet als nur Übersichtstabellen? Ist es möglich, dies zu tun, wenn die Anzahl der Beobachtungen groß ist, sagen wir ~ 1e4? Und ist es möglich, es in R [andere Umgebungen willkommen] zu tun?

31 r data-visualization pca biplot

1

Für welche Distributionen unterscheiden sich die Parametrisierungen in BUGS und R?

Ich habe einige Distributionen gefunden, für die BUGS und R unterschiedliche Parametrisierungen haben: Normal, log-Normal und Weibull. Für jeden von diesen erfahre ich, dass der zweite von R verwendete Parameter invers transformiert werden muss (1 / parameter), bevor er in BUGS (oder in meinem Fall JAGS) verwendet wird. Kennt jemand …

31 r distributions bugs jags parameterization

1

Mehrfachvergleiche an einem Mixed-Effects-Modell

Ich versuche, einige Daten mit einem gemischten Effektmodell zu analysieren. Die von mir gesammelten Daten repräsentieren das Gewicht einiger Jungtiere unterschiedlichen Genotyps im Zeitverlauf. Ich verwende den hier vorgeschlagenen Ansatz: https://gribblelab.wordpress.com/2009/03/09/repeated-measures-anova-using-r/ Insbesondere verwende ich Lösung # 2 Also ich habe sowas require(nlme) model <- lme(weight ~ time * Genotype, random …

31 r anova mixed-model multiple-comparisons repeated-measures

6

Wie kann die langfristige Reproduzierbarkeit der Forschung erhöht werden (insbesondere mit R und Sweave)?

Kontext: Als Antwort auf eine frühere Frage zur reproduzierbaren Forschung schrieb Jake Ein Problem, das wir beim Erstellen unseres JASA-Archivs festgestellt haben, war, dass sich Versionen und Standardeinstellungen von CRAN-Paketen geändert haben. In diesem Archiv sind also auch die Versionen der von uns verwendeten Pakete enthalten. Das vignettenbasierte System wird …

31 r reproducible-research project-management

2

Relative Bedeutung einer Reihe von Prädiktoren in einer zufälligen Waldklassifikation in R

Ich möchte die relative Bedeutung von Variablensätzen für ein randomForestKlassifizierungsmodell in R bestimmen . Die importanceFunktion liefert die MeanDecreaseGiniMetrik für jeden einzelnen Prädiktor. Ist es so einfach, diese über jeden Prädiktor in einem Satz zu summieren? Beispielsweise: # Assumes df has variables a1, a2, b1, b2, and outcome rf <- …

31 r machine-learning classification random-forest

3

Ist es möglich, AIC und BIC für Lasso-Regressionsmodelle zu berechnen?

Ist es möglich, AIC- oder BIC-Werte für Lasso-Regressionsmodelle und andere regulierte Modelle zu berechnen, bei denen Parameter nur teilweise in die Gleichung eingehen? Wie bestimmt man die Freiheitsgrade? Ich verwende R, um Lasso-Regressionsmodelle mit der glmnet()Funktion aus dem glmnetPaket zu versehen, und möchte wissen, wie AIC- und BIC-Werte für ein …

31 r model-selection lasso aic bic

7

Statistische Methoden zur effizienteren Darstellung von Daten, wenn Millionen von Punkten vorhanden sind?

Ich finde, R kann lange dauern, um Diagramme zu erstellen, wenn Millionen von Punkten vorhanden sind - nicht überraschend, da die Punkte einzeln dargestellt werden. Darüber hinaus sind solche Diagramme häufig zu unübersichtlich und dicht, um nützlich zu sein. Viele der Punkte überlappen sich und bilden eine schwarze Masse, und …

31 r data-visualization

2

Was ist Quasi-Binomialverteilung (im Kontext von GLM)?

Ich hoffe, jemand kann einen intuitiven Überblick darüber geben, was Quasibinomialverteilung ist und was sie bewirkt. Diese Punkte interessieren mich besonders: Wie sich das Quasibinom von der Binomialverteilung unterscheidet. Wenn die Antwortvariable eine Proportion ist (Beispielwerte sind 0,23, 0,11, 0,78, 0,98), wird ein Quasibinomialmodell in R ausgeführt, ein Binomialmodell jedoch …

30 r generalized-linear-model binomial overdispersion quasi-likelihood

1

Was macht der Befehl anova () mit einem früheren Modellobjekt?

Hoffentlich ist dies eine Frage, die mir hier jemand zur Art der Zerlegung von Quadratsummen aus einem Modell mit gemischten Effekten beantworten kann, das dazu passt lmer(aus dem Paket lme4 R). Zuallererst sollte ich sagen, dass mir die Kontroverse bei der Verwendung dieses Ansatzes bewusst ist, und in der Praxis …

30 r anova mixed-model lme4-nlme

2

Test auf bimodale Verteilung

Ich frage mich, ob es einen statistischen Test gibt, um die Signifikanz einer bimodalen Verteilung zu "testen". Ich meine, wie viel meine Daten der bimodalen Verteilung entsprechen oder nicht? Wenn ja, gibt es einen Test im R-Programm?

30 r hypothesis-testing distributions bimodal

2

Ich und ich im Vergleich

Ich habe mich gefragt, ob mich jemand über die aktuellen Unterschiede zwischen diesen beiden Funktionen aufklären könnte. Ich fand die folgende Frage: Wie wähle ich die Bibliothek nlme oder lme4 R für Modelle mit gemischten Effekten? , aber das stammt aus ein paar Jahren. Das ist ein Leben lang in …

30 r mixed-model lme4-nlme

4

So führen Sie eine Dimensionsreduktion mit PCA in R durch

Ich habe einen großen Datensatz und möchte eine Dimensionsreduktion durchführen. Jetzt lese ich überall, dass ich PCA dafür verwenden kann. Ich scheine jedoch immer noch nicht zu verstehen, was ich tun soll, nachdem ich die PCA berechnet / durchgeführt habe. In R ist dies mit dem Befehl einfach zu bewerkstelligen …

30 r pca

1

Intuition hinter Tensorproduktwechselwirkungen in GAMs (MGCV-Paket in R)

Verallgemeinerte additive Modelle sind solche, bei denen . die funktionen sind flüssig und zu schätzen. In der Regel durch Splines bestraft. MGCV ist ein Paket in R, und der Autor (Simon Wood) schreibt ein Buch über sein Paket mit R-Beispielen. Ruppert et al. (2003) schreiben ein weitaus zugänglicheres Buch über …

30 r nonparametric interaction splines intuition

Als «r» getaggte Fragen