Statistiken und Big Data

2

Auf der Suche nach dem 'Ellbogen' in Daten

Die Subitisierung ist die schnelle und genaue Aufzählung von Anzeigen mit geringer Anzahl, die sich von der Zählung durch eine scharfe Nichtlinearität in der Darstellung der Antwortzeiten unterscheidet. Unten ist eine repräsentative Darstellung von Watson, DG, Maylor, EA und Bruce, LAM (2007). Beachten Sie, dass die mittleren Aufzählungszeiten für die …

8 linear-model contrasts

1

Warum muss die Log-Wahrscheinlichkeit auf minus unendlich gehen, wenn sich der Parameter der Grenze des Parameterraums nähert?

In einer kürzlich gehaltenen Vorlesung wurde mir gesagt, dass die Log-Wahrscheinlichkeit auf minus unendlich gehen muss, damit die maximale Wahrscheinlichkeitsschätzung gültig ist, wenn der Parameter an die Grenze des Parameterraums geht. Aber ich verstehe nicht, warum das wichtig ist. Angenommen, die Log-Wahrscheinlichkeit geht auf eine Art Asymptote über. Dann ist …

8 maximum-likelihood

1

Warum Bayesglm verwenden?

Meine allgemeine Frage lautet: Warum bayesglmanstelle anderer Klassifizierungsmethoden verwenden? Hinweis: Ich interessiere mich nur für Vorhersage. Ich habe eine anständige Datenmenge (~ 100.000 obs). Ich bin der Meinung, dass die Stichprobengröße groß genug ist, um die Parameter einer regulären logistischen Regression normal zu verteilen (CLT). Was würde ich durch die …

8 bayesian generalized-linear-model

2

Vorhersage kategorialer Antwortvariablen

Ich habe die folgenden Daten (in R codiert): v.a = c('cat', 'dog', 'dog', 'goat', 'cat', 'goat', 'dog', 'dog') v.b = c(1, 2, 1, 2, 1, 2, 1, 2) v.c = c('blue', 'red', 'blue', 'red', 'red', 'blue', 'yellow', 'yellow') set.seed(12) v.d = rnorm(8) aov(v.a ~ v.b + v.c + v.d) # …

8 r logistic anova categorical-data multinomial

1

Warum ist der Dirichlet-Prozess für Anwendungen in der Bayes'schen Nichtparametrik ungeeignet?

Die diskrete Natur des DP macht es für allgemeine Anwendungen in der Bayes'schen Nichtparametrik ungeeignet, aber es ist gut geeignet für das Problem, bei der Gemischmodellierung Prioritäten auf Gemischkomponenten zu setzen. Dieses Zitat stammt aus Hierarchical Dirichlet Processes (Teh et al., (2006) ) und ich suchte nach einer Erklärung, was …

8 machine-learning mcmc dirichlet-process

2

Annäherung der relativen Mengen an Münzen in Kanada

Wäre es möglich, die relativen Mengen an im Umlauf befindlichen Loonies , Twoonies , Vierteln, Groschen, Nickeln (und möglicherweise dem abgekündigten Penny) genau zu approximieren , wenn man im täglichen Gebrauch einfach eine ausreichend große Münzprobe erhält? Im täglichen Gebrauch beziehe ich mich auf die Münzen, die Sie zurückbekommen, wenn …

8 self-study application

1

Negative Werte in Vorhersagen für eine immer positive Antwortvariable in der linearen Regression

Ich versuche, eine Antwortvariable in der linearen Regression vorherzusagen, die immer positiv sein sollte (Kosten pro Klick). Es ist ein Geldbetrag. Bei AdWords zahlen Sie Google für Klicks auf Ihre Anzeigen. Eine negative Zahl bedeutet, dass Google Sie bezahlt, wenn Nutzer auf Folgendes klicken: P. Die Prädiktoren sind alle kontinuierliche …

8 regression predictive-models

3

Auswählen einer Klassifizierungsleistungsmetrik für die Modellauswahl, Merkmalsauswahl und Veröffentlichung

Ich habe einen kleinen, unausgeglichenen Datensatz (70 positiv, 30 negativ) und habe mit der Modellauswahl für SVM-Parameter unter Verwendung von BAC (ausgeglichene Genauigkeit) und AUC (Bereich unter der Kurve) herumgespielt. Ich habe verschiedene Klassengewichte für den C-Parameter in libSVM verwendet, um die unausgeglichenen Daten gemäß den hier angegebenen Anweisungen auszugleichen …

8 svm cross-validation model-selection auc

2

Generieren von kausal abhängigen Zufallsvariablen

Ich versuche, Sätze von kausal verbundenen Zufallsvariablen zu generieren und habe dies mit einem Monte-Carlo-Ansatz begonnen. Die Basislinie ist ein zweidimensional gemessenes Histogramm, aus dem ich zufällige Werte ziehe. In meinen konkreten Beispielen sind diese Variablen Beschleunigung und Geschwindigkeit - also muss offensichtlich gelten.v v i + 1 = v …

8 monte-carlo random-generation

1

Ist der Rest e ein Schätzer des Fehlers ?

Diese Frage ist in einem anderen Thread aufgetaucht, den ich gestartet habe, also dachte ich, ich würde mehr Meinungen von Leuten dazu bekommen. Meine Frage ist Ist der Rest e ein Schätzer des Fehlers ?ϵϵ\epsilon Der Grund, den ich frage, ist der folgende. In OLS ist die Varianz der Residuen …

8 standard-error residuals error estimators

3

Wie führe ich eine unbeaufsichtigte Random Forest-Klassifizierung mit Breimans Code durch?

Ich arbeite mit Breimans zufälligem Waldcode ( http://stat-www.berkeley.edu/users/breiman/RandomForests/cc_manual.htm#c2 ) zur Klassifizierung von Satellitendaten (überwachtes Lernen). Ich verwende einen Trainings- und Testdatensatz mit einer Stichprobengröße von 2000 und einer Variablengröße von 10. Die Daten werden in zwei Klassen, A und B, klassifiziert. Im überwachten Lernmodus arbeitet der Algorithmus mit einem sehr …

8 machine-learning classification random-forest

1

Kann ich ein Konfidenzintervall des Poisson-Mittelwerts für seine Varianz verwenden?

In einer Poisson-Verteilung entspricht der Mittelwert der Varianz. Ich möchte ein Konfidenzintervall der Varianz finden. Ist meine Argumentation unten richtig? Unter Verwendung des zentralen Grenzwertsatzes konstruiere ich ein 95% -Konfidenzintervall für den Mittelwert Daher scheint mir , dass die Ungleichung sollte wie jede andere Ungleichung in der Mathematik funktionieren, aber …

8 confidence-interval variance poisson-distribution

3

Ideen zur Ausgabe einer Vorhersagegleichung für zufällige Wälder

Ich habe die folgenden Beiträge gelesen, die die Frage beantwortet haben, die ich stellen wollte: Verwenden Sie das Random Forest-Modell, um Vorhersagen aus Sensordaten zu treffen Entscheidungsbaum für die Ausgabevorhersage Folgendes habe ich bisher getan: Ich habe die logistische Regression mit zufälligen Wäldern verglichen und RF hat die logistische Leistung …

8 random-forest prediction

1

Sind glaubwürdige Intervalle bei Rückschlüssen auf Gruppenmittelwerte empfindlich gegenüber Abweichungen innerhalb des Subjekts, während dies bei Konfidenzintervallen nicht der Fall ist?

Dies ist ein Nebeneffekt dieser Frage: Wie kann man zwei Gruppen mit mehreren Messungen für jedes Individuum mit R vergleichen? In den Antworten dort (wenn ich richtig verstanden habe) habe ich gelernt, dass die Varianz innerhalb des Subjekts keine Rückschlüsse auf Gruppenmittelwerte hat, und es ist in Ordnung, einfach die …

8 r confidence-interval mixed-model jags error-propagation

2

Umgang mit guten Leistungen bei Trainings- und Validierungsdaten, aber sehr schlechten Leistungen bei Testdaten

Ich habe ein Regressionsproblem mit 5-6k Variablen. Ich teile meine Daten in 3 nicht überlappende Sätze ein: Training, Validierung und Testen. Ich trainiere nur mit dem Trainingssatz und generiere viele verschiedene lineare Regressionsmodelle, indem ich für jedes Modell einen anderen Satz von 200 Variablen auswähle (ich versuche ungefähr 100.000 solcher …

8 regression cross-validation model-selection r-squared overfitting