Statistiken und Big Data

1

Was tun, wenn die Zähldaten nicht zu einer Poisson-Verteilung passen?

Ich bin ein Doktorand. Ich arbeite mit einem Datensatz von Zähldaten. Es gibt eine Anzahl von Benutzern, die an einem n-way Echtzeit-Chat-Gespräch beteiligt sind. Die Anzahl der Benutzer reicht von 1 bis 6 und das Set enthält ca. 300 Daten. Meine anfängliche Motivation war zu verstehen, ob die Daten zu …

7 r distributions modeling poisson-distribution

3

Gibt es eine scheinbar einfache Wahrscheinlichkeitsfrage, die tatsächlich nicht zu lösen ist?

Gibt es gute Beispiele für ein scheinbar einfaches Wahrscheinlichkeitsproblem, das tatsächlich nicht zu lösen ist? Ich versuche, den Einsatz von Simulationen zu motivieren, und möchte ein Beispiel dafür geben, wann es notwendig ist, dass es zugänglich ist. Die Hoffnung ist so etwas wie: "Intuitiv scheint es einfach genug zu sein, …

7 probability simulation probabilistic-programming

1

Ermitteln der Verteilung der Summe der logarithmischen Zufallsvariablen

Ich versuche die Verteilung der Summe von 2 logarithmischen Zufallsvariablen zu finden. Ich habe mich auf die Literatur zu Cross Validated, Stack Overflow und einigen Veröffentlichungen bezogen, bevor ich diese veröffentlichte. Ich habe Faltung verwendet, um die Verteilung der Summe von 2 logarithmischen rvs zu finden. Die Näherung funktioniert für …

7 probability distributions mathematical-statistics lognormal sum

2

Warum werden in der binären Klassifikation des Gaußschen Prozesses Sigmoidfunktionen gegenüber Gaußschen Funktionen bevorzugt?

Ich studiere derzeit "Gaußsche Prozesse für maschinelles Lernen" und in Kapitel 3 heißt es, dass das hintere (Gleichung 3.10) und das latente Die Variable posterior (Gleichung 3.9) kann aufgrund der Sigmoidwahrscheinlichkeiten in (3.9) und der Sigmoidfunktion in (3.10) im Allgemeinen nicht analytisch gelöst werden ). Um zu verhindern, dass Personen …

7 machine-learning classification bayesian gaussian-process

3

Saisonale ARIMA-Modellierung in R.

Ich habe monatliche Preisdaten für eine Ware von 2007 bis 2017. Sie finden sie unter folgendem Link: https://drive.google.com/open?id=0BxRCOgKAL4itcUZlOExrUmVOanc Ich muss sie für das nächste mit dem saisonalen ARIMA-Modell in R prognostizieren Jahr. Wenn ich die auto.arimaFunktion verwende, wird mir das beste Modell ARIMA(0,1,1)anstelle von vorgeschlagen ARIMA(p,d,q)(P,D,Q)12. Der saisonale Teil des …

7 time-series mathematical-statistics forecasting arima

1

Gibt es in PCA eine systematische Möglichkeit, Variablen zu löschen, um die Trennung zweier Populationen zu maximieren?

Ich versuche mithilfe der Hauptkomponentenanalyse zu untersuchen, ob es möglich ist, mit gutem Vertrauen zu erraten, aus welcher Population ("Aurignacian" oder "Gravettian") ein neuer Datenpunkt stammt. Ein Datenpunkt wird durch 28 Variablen beschrieben, von denen die meisten relative Häufigkeiten archäologischer Artefakte sind. Die verbleibenden Variablen werden als Verhältnisse anderer Variablen …

7 classification pca multivariate-analysis feature-selection archaeology

4

Gradientenverstärkung - extreme Vorhersagen gegenüber Vorhersagen nahe 0,5

Angenommen, Sie trainieren zwei verschiedene Gradient Boosting Classifier-Modelle für zwei verschiedene Datensätze. Sie verwenden eine einmalige Kreuzvalidierung und zeichnen die Histogramme der Vorhersagen auf, die die beiden Modelle ausgeben. Die Histogramme sehen folgendermaßen aus: und das: In einem Fall sind die Vorhersagen (für Sätze außerhalb der Stichprobe / Validierung) meist …

7 classification cart boosting xgboost

2

Wie kann ich betrügerische Variablen in großen Datenmengen schnell erkennen?

Angenommen, wir haben einen Datensatz mit Millionen Zeilen und Tausenden Spalten und die Aufgabe ist die binäre Klassifizierung. Wenn wir ein logistisches Regressionsmodell ausführen, ist die Leistung viel besser als erwartet, z. B. eine nahezu perfekte Klassifizierung. Wir vermuten, dass die Daten einige betrügerische Variablen enthalten. Wie kann ich sie …

7 algorithms linear large-data high-dimensional

1

Großer Unterschied zwischen einem T-Test und einem F-Test in einem gemischten Modell (Anova vs. Zusammenfassung in lmerTest)

Während ich jemand anderem bei seinen Analysen half, stieß ich auf eine Frage bezüglich des Unterschieds zwischen t-Tests und F-Tests für lineare gemischte Modelle in lme4 für R, wie von lmerTest bereitgestellt. Ich bin mir der Probleme bei der Berechnung jeglicher Art von p-Werten für lineare gemischte Modelle bewusst (wie …

7 hypothesis-testing mixed-model t-test lme4-nlme f-test

1

Warum verbessert die Reduzierung eines Regressionsmodells in ein Klassifizierungsmodell durch Ausgabediskretisierung ein Modell?

Wenn bei Regressionsproblemen die Ausgabe in Bins / Kategorien / Cluster diskretisiert und als Beschriftungen verwendet wird, wird das Modell auf ein Klassifizierungsmodell reduziert. Meine Frage ist: Was ist die theoretische oder angewandte Motivation für diese Reduzierung? In meinen speziellen Experimenten zur Vorhersage des Standorts anhand von Text habe ich …

7 regression classification categorical-data continuous-data

2

Ist der frequentistische Rahmen nach Poppers Theorie angemessener als der Bayes'sche?

Laut Karl Popper sind nur fälschbare Hypothesen wirklich wissenschaftlich (zitiert Wikipedia ): Keine Anzahl positiver Ergebnisse auf der Ebene experimenteller Tests kann eine wissenschaftliche Theorie bestätigen, aber ein einziges Gegenbeispiel ist logisch entscheidend: Es zeigt, dass die Theorie, aus der die Implikation abgeleitet wird, falsch ist. Welcher statistische Rahmen ist …

7 hypothesis-testing bayesian frequentist

1

Bedeutung von geringer Leistung in den Neurowissenschaften nach Kombination der Ergebnisse vieler Metaanalysen (Button et al. 2013)

In einem Übersichtsartikel aus dem Jahr 2013 in Nature Neuroscience haben Button et al. Stromausfall: Warum eine kleine Stichprobengröße die Zuverlässigkeit der Neurowissenschaften untergräbt , wurde festgestellt, dass: Die durchschnittliche statistische Aussagekraft von Studien in den Neurowissenschaften ist sehr gering Sie suchten nach Metaanalysen, berechneten die Post-hoc-Leistung in jeder von …

7 p-value meta-analysis power neuroscience replicability

1

So bereiten Sie Daten für die Eingabe in ein spärliches kategoriales Cross-Entropy-Multiklassifizierungsmodell vor [geschlossen]

Geschlossen. Diese Frage ist nicht zum Thema . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage so dass es beim Thema für Kreuz Validated. Geschlossen vor 2 Jahren . Ich habe also eine Reihe von Tweets mit ein paar Spalten wie Datum und Tweet …

7 classification python data-preprocessing keras

3

Gefälle Abstieg von

Ich lese Why Momentum Really Works , einen Beitrag aus dem neuen Destillationsjournal. Ich werde die Hauptgleichungen umschreiben, die zu dem Teil führen, der mich verwirrt. Der Beitrag beschreibt die Intuition genauer. Der Gradientenabstiegsalgorithmus ist durch den folgenden iterativen Prozess gegeben: wobei der Wert der Iteration , die Lernrate und …

7 machine-learning optimization deep-learning

1

Alternativen zum dreidimensionalen Streudiagramm

Für eine Präsentation muss ich dreidimensionale Daten visualisieren. Ich sollte sie im "Stil eines Streudiagramms" visualisieren. Mai waren erste Ideen Ein dreidimensionales Streudiagramm Eine Streudiagramm-Matrix Dimensionalitätsreduktion (PCA) und anschließend ein zweidimensionales Streudiagramm Was sind Alternativen zu diesen Konzepten? Wenn möglich, geben Sie R-Code in Ihre Antwort ein. Bearbeiten: Ich habe …

7 r data-visualization scatterplot