Statistiken und Big Data r

1

Grundlegendes zur Singularwertzerlegung im Kontext von LSI

Meine Frage bezieht sich allgemein auf Singular Value Decomposition (SVD) und insbesondere auf Latent Semantic Indexing (LSI). Angenommen, ich habe , das Häufigkeiten von 5 Wörtern für 7 Dokumente enthält.EINw o r d× do c u m e n tAword×document A_{word \times document} A = matrix(data=c(2,0,8,6,0,3,1, 1,6,0,1,7,0,1, 5,0,7,4,0,5,6, 7,0,8,5,0,8,5, 0,10,0,0,7,0,0), …

9 r svd natural-language latent-semantic-indexing

2

Schätzung der angepassten Risikoverhältnisse in binären Daten unter Verwendung der Poisson-Regression

Ich bin daran interessiert, ein angepasstes Risikoverhältnis zu schätzen, analog dazu, wie man ein angepasstes Quotenverhältnis unter Verwendung der logistischen Regression schätzt. Einige Literaturstellen (z. B. diese ) weisen darauf hin, dass die Verwendung der Poisson-Regression mit Huber-White-Standardfehlern eine modellbasierte Methode ist, um dies zu erreichen Ich habe keine Literatur …

9 r references biostatistics poisson-regression relative-risk

3

K-fache oder Hold-out-Kreuzvalidierung für die Gratregression mit R.

Ich arbeite an einer Kreuzvalidierung der Vorhersage meiner Daten mit 200 Probanden und 1000 Variablen. Ich bin an einer Ridge-Regression interessiert, da die Anzahl der Variablen (die ich verwenden möchte) größer ist als die Anzahl der Stichproben. Ich möchte also Schrumpfungsschätzer verwenden. Die folgenden Beispieldaten bestehen aus: #random population of …

9 r cross-validation prediction ridge-regression

1

Anova Typ III Test für ein GLMM

Ich passe ein glmerModell in das lme4R-Paket. Ich suche nach einer Anova-Tabelle mit dem darin gezeigten p-Wert, kann aber kein passendes Paket finden. Ist es möglich, es in R zu tun? Das Modell, das ich anpasse, hat folgende Form: model1<-glmer(dmn~period*teethTreated+(1|fullName), family="poisson", data=subset(dataset, group=='Four times a year'), control=glmerControl(optimizer="bobyqa"))

9 r anova lme4-nlme mixed-model

5

Logistische Regression bei Big Data

Ich habe einen Datensatz von rund 5000 Funktionen. Für diese Daten habe ich zuerst den Chi-Quadrat-Test zur Merkmalsauswahl verwendet. Danach erhielt ich ungefähr 1500 Variablen, die eine signifikante Beziehung zur Antwortvariablen zeigten. Jetzt muss ich die logistische Regression darauf abstimmen. Ich verwende das glmulti-Paket für R (das glmulti-Paket bietet eine …

9 r logistic generalized-linear-model modeling regression-strategies

2

Parameterschätzung mit verallgemeinerten linearen Modellen

Wenn wir eine glmFunktion in R verwenden, wird standardmäßig die iterativ neu gewichtete Methode der kleinsten Quadrate (IWLS) verwendet, um die maximale Wahrscheinlichkeitsschätzung der Parameter zu ermitteln. Jetzt habe ich zwei Fragen. Garantieren IWLS-Schätzungen das globale Maximum der Wahrscheinlichkeitsfunktion? Basierend auf der letzten Folie in dieser Präsentation denke ich, dass …

9 r estimation generalized-linear-model maximum-likelihood optimization

4

Wie mache ich multivariates maschinelles Lernen? (Vorhersage mehrerer abhängiger Variablen)

Ich möchte Gruppen von Artikeln vorhersagen, die jemand kaufen wird ... dh ich habe mehrere kolinear abhängige Variablen. Anstatt 7 oder so unabhängige Modelle zu erstellen, um die Wahrscheinlichkeit vorherzusagen, dass jemand jedes der 7 Elemente kauft, und dann die Ergebnisse zu kombinieren, welche Methoden sollte ich prüfen, um ein …

9 r machine-learning multivariate-analysis

2

Bayesianische Analyse von Kontingenztabellen: Beschreibung der Effektgröße

Ich arbeite die Beispiele in Kruschkes Doing Bayesian Data Analysis durch , insbesondere die exponentielle Poisson-ANOVA in Kap. 22, die er als Alternative zu häufig auftretenden Chi-Quadrat-Unabhängigkeitstests für Kontingenztabellen vorstellt. Ich kann sehen, wie wir Informationen über Interaktionen erhalten, die mehr oder weniger häufig auftreten als erwartet, wenn die Variablen …

9 r bayesian effect-size contingency-tables

2

R erkennt einen zunehmenden / abnehmenden Trend von Zeitreihen

Ich habe viele Zeitreihen mit Zeiträumen: Tag, Woche oder Monat. Mit stl()Funktion oder mit loess(x ~ y)kann ich sehen, wie Trends bestimmter Zeitreihen aussehen. Ich muss feststellen, ob der Trend der Zeitreihen zunimmt oder abnimmt. Wie kann ich das schaffen? Ich habe versucht, lineare Regressionskoeffizienten lm(x ~ y)mit dem Steigungskoeffizienten …

9 r time-series trend

1

Anpassen eines zeitvariablen Koeffizienten DLM

Ich möchte ein DLM mit zeitlich variierenden Koeffizienten anpassen, dh eine Erweiterung der üblichen linearen Regression. yt= θ1+ θ2x2yt=θ1+θ2x2y_t = \theta_1 + \theta_2x_2 . Ich habe einen Prädiktor ( ) und eine Antwortvariable ( ), Meeres- und Binnenfischfang von 1950 bis 2011. Ich möchte, dass das DLM-Regressionsmodell folgt:y tx2x2x_2ytyty_t yt= …

9 r regression time-series dlm dynamic-regression

1

Seltsame Methode zur Berechnung des Chi-Quadrats in Excel vs R.

Ich schaue auf ein Excel-Blatt, das behauptet, das zu berechnen , aber ich erkenne diese Vorgehensweise nicht und habe mich gefragt, ob mir etwas fehlt.χ2χ2\chi^2 Hier sind die Daten, die analysiert werden: +------------------+----------+----------+ | Total Population | Observed | Expected | +------------------+----------+----------+ | 2000 | 42 | 32.5 | | …

9 r chi-squared excel

3

Warum kann die lineare Regression das Ergebnis einer einfachen deterministischen Sequenz nicht vorhersagen?

Ein Kollege von mir hat mir dieses Problem geschickt und anscheinend im Internet die Runde gemacht: If $3 = 18, 4 = 32, 5 = 50, 6 = 72, 7 = 98$, Then, $10 =$ ? Die Antwort scheint 200 zu sein. 3*6 4*8 5*10 6*12 7*14 8*16 9*18 10*20=200 …

9 r regression lm

1

Können zufällige Wälder viel besser abschneiden als der Testfehler von 2,8% bei MNIST?

Ich habe keine Literatur zur Anwendung von Random Forests auf MNIST, CIFAR, STL-10 usw. gefunden, daher dachte ich, ich würde sie selbst mit dem permutationsinvarianten MNIST ausprobieren. In R habe ich versucht: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Dies lief 2 Stunden und ergab einen Testfehler von 2,8%. Ich habe auch …

9 r machine-learning classification random-forest scikit-learn

1

R: Anova und lineare Regression

Ich bin neu in der Statistik und versuche, den Unterschied zwischen ANOVA und linearer Regression zu verstehen. Ich benutze R, um dies zu untersuchen. Ich habe verschiedene Artikel darüber gelesen, warum ANOVA und Regression unterschiedlich, aber immer noch gleich sind und wie sie visualisiert werden können usw. Ich denke, ich …

9 r regression anova

3

Bewertung der Leistung eines Normalitätstests (in R)

Ich möchte die Genauigkeit von Normalitätstests über verschiedene Stichprobengrößen in R bewerten (mir ist klar, dass Normalitätstests irreführend sein können ). Um zum Beispiel den Shapiro-Wilk-Test zu betrachten, führe ich die folgende Simulation durch (sowie das Aufzeichnen der Ergebnisse) und würde erwarten, dass mit zunehmender Stichprobengröße die Wahrscheinlichkeit der Zurückweisung …

9 r simulation power-analysis normality-assumption

Als «r» getaggte Fragen