Statistiken und Big Data large-data

1

Testen eines großen Datensatzes auf Normalität - wie und ist er zuverlässig?

Ich untersuche einen Teil meines Datensatzes mit 46840 Doppelwerten zwischen 1 und 1690, die in zwei Gruppen zusammengefasst sind. Um die Unterschiede zwischen diesen Gruppen zu analysieren, habe ich zunächst die Verteilung der Werte untersucht, um den richtigen Test auszuwählen. Nach einer Anleitung zum Testen auf Normalität habe ich ein …

12 r normal-distribution normality-assumption large-data

4

Hypothesentest mit Big Data

Wie führen Sie Hypothesentests mit Big Data durch? Ich habe das folgende MATLAB-Skript geschrieben, um meine Verwirrung zu betonen. Es werden lediglich zwei Zufallsreihen generiert und eine einfache lineare Regression einer Variablen auf der anderen ausgeführt. Diese Regression wird mehrmals unter Verwendung verschiedener Zufallswerte durchgeführt und es werden Durchschnittswerte gemeldet. …

12 hypothesis-testing large-data

1

Wann muss ich aufhören, nach einem Modell zu suchen?

Ich suche ein Modell zwischen den Energiekursen und dem Wetter. Ich habe den Preis des MWatt zwischen den Ländern Europas gekauft und viele Werte auf das Wetter (Grib-Dateien). Jede Stunde in einem Zeitraum von 5 Jahren (2011-2015). Preis / Tag Dies ist pro Tag für ein Jahr. Ich habe dies …

11 time-series forecasting predictive-models modeling large-data

1

Umgang mit großen Datenmengen in R - Tutorials, Best Practices usw.

Ich bin ein R-Noob, der verschiedene Arten von Analysen für große Datenmengen in R durchführen muss. Als ich mich auf dieser Site und anderswo umsah, schien es mir, dass es hier viele esoterische und weniger bekannte Probleme gibt - wie zum Beispiel Welches Paket soll wann verwendet werden, welche Transformationen …

11 r large-data

1

Ist eine groß angelegte PCA überhaupt möglich?

Die klassische Methode der Hauptkomponentenanalyse (PCA) besteht darin, sie auf einer Eingabedatenmatrix durchzuführen, deren Spalten den Mittelwert Null haben (dann kann PCA die Varianz "maximieren"). Dies kann leicht durch Zentrieren der Säulen erreicht werden. Wenn jedoch die Eingabematrix dünn ist, ist die zentrierte Matrix jetzt länger dünn und passt - …

10 pca algorithms dimensionality-reduction large-data sparse

3

Vergleichen verschachtelter binärer logistischer Regressionsmodelle, wenn

Um meine Frage besser zu stellen, habe ich einige der Ausgaben sowohl eines 16-Variablen-Modells ( fit) als auch eines 17-Variablen-Modells ( fit2) unten bereitgestellt (alle Prädiktorvariablen in diesen Modellen sind kontinuierlich, wobei der einzige Unterschied zwischen diesen Modellen darin besteht, dass fitdies nicht der Fall ist enthalten Variable 17 (var17)): …

10 r regression logistic model-selection large-data

2

Ist es sinnvoll, Konfidenzintervalle zu berechnen und Hypothesen zu testen, wenn Daten aus der gesamten Bevölkerung verfügbar sind?

Ist es sinnvoll, Konfidenzintervalle zu berechnen und Hypothesen zu testen, wenn Daten aus der gesamten Bevölkerung verfügbar sind? Meiner Meinung nach lautet die Antwort nein, da wir die wahren Werte der Parameter genau berechnen können. Aber wie hoch ist dann der maximale Anteil an Daten aus der ursprünglichen Population, der …

10 hypothesis-testing confidence-interval sample-size large-data population

3

Wie können große Zeitreihendaten interaktiv angezeigt werden?

Ich beschäftige mich oft mit einer angemessenen Menge an Zeitreihendaten, 50-200 Millionen Doppel mit zugehörigen Zeitstempeln und möchte sie dynamisch visualisieren. Gibt es eine Software, um dies effektiv zu tun? Wie wäre es mit Bibliotheken und Datenformaten? Der Zoom-Cache ist ein Beispiel für eine Bibliothek, die sich auf große Zeitreihen …

10 time-series data-visualization large-data interactive-visualization

1

Umgang mit sehr großen Zeitreihendatensätzen

Ich habe Zugriff auf einen sehr großen Datensatz. Die Daten stammen aus MEG- Aufnahmen von Personen, die Musikausschnitte aus einem von vier Genres hören. Die Daten sind wie folgt: 6 Themen 3 Experimentelle Wiederholungen (Epochen) 120 Prüfungen pro Epoche 8 Sekunden Daten pro Versuch bei 500 Hz (= 4000 Abtastungen) …

10 machine-learning feature-selection large-data feature-construction

3

Ansätze beim Lernen aus riesigen Datensätzen?

Grundsätzlich gibt es zwei gängige Methoden, um gegen große Datenmengen zu lernen (wenn Sie mit zeitlichen / räumlichen Einschränkungen konfrontiert sind): Betrug :) - Verwenden Sie nur eine "überschaubare" Teilmenge für das Training. Der Genauigkeitsverlust kann aufgrund des Gesetzes zur Verringerung der Rendite vernachlässigbar sein - die Vorhersageleistung des Modells …

10 machine-learning large-data model-evaluation train

1

K-bedeutet: Wie viele Iterationen in praktischen Situationen?

Ich habe keine Branchenerfahrung im Bereich Data Mining oder Big Data und würde mich freuen, wenn Sie Erfahrungen austauschen. Führen die Leute tatsächlich k-means, PAM, CLARA usw. für einen wirklich großen Datensatz aus? Oder wählen sie einfach zufällig eine Probe aus? Wenn sie nur eine Stichprobe des Datensatzes entnehmen, wäre …

10 clustering data-mining k-means convergence large-data

2

Gaußsche Prozessregression für hochdimensionale Datensätze

Ich wollte nur sehen, ob jemand Erfahrung mit der Anwendung der Gaußschen Prozessregression (GPR) auf hochdimensionale Datensätze hat. Ich untersuche einige der verschiedenen spärlichen GPR-Methoden (z. B. spärliche Pseudo-Eingänge GPR), um herauszufinden, was für hochdimensionale Datensätze funktionieren könnte, bei denen die Auswahl von Merkmalen idealerweise Teil des Parameterauswahlprozesses ist. Vorschläge …

10 machine-learning predictive-models large-data gaussian-process

2

Skalierbare Dimensionsreduzierung

In Anbetracht der konstanten Anzahl von Merkmalen hat Barnes-Hut t-SNE eine Komplexität von , zufällige Projektionen und PCA eine Komplexität von was sie für sehr große Datenmengen "erschwinglich" macht.O ( n )O ( n logn )O(nlog⁡n)O(n\log n)O ( n )O(n)O(n) Andererseits weisen Verfahren, die auf mehrdimensionaler Skalierung beruhen , eine …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

6

Welche Algorithmen für maschinelles Lernen können mit Hadoop / Map-Reduce skaliert werden?

Skalierbare Algorithmen für maschinelles Lernen scheinen heutzutage die Begeisterung zu sein. Jedes Unternehmen verarbeitet nur Big Data . Gibt es ein Lehrbuch, in dem erläutert wird, welche Algorithmen für maschinelles Lernen mit parallelen Architekturen wie Map-Reduce skaliert werden können und welche nicht? Oder einige relevante Papiere?

9 machine-learning large-data

2

Parametrisches, semiparametrisches und nichtparametrisches Bootstrapping für gemischte Modelle

Die folgenden Transplantate stammen aus diesem Artikel . Ich bin ein Neuling im Bootstrap und versuche, das parametrische, semiparametrische und nichtparametrische Bootstrapping-Bootstrapping für ein lineares gemischtes Modell mit R bootPaket zu implementieren. R-Code Hier ist mein RCode: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + …

9 r mixed-model bootstrap central-limit-theorem stable-distribution time-series hypothesis-testing markov-process r correlation categorical-data association-measure meta-analysis r anova confidence-interval lm r bayesian multilevel-analysis logit regression logistic least-squares eda regression notation distributions random-variable expected-value distributions markov-process hidden-markov-model r variance group-differences microarray r descriptive-statistics machine-learning references r regression r categorical-data random-forest data-transformation data-visualization interactive-visualization binomial beta-distribution time-series forecasting logistic arima beta-regression r time-series seasonality large-data unevenly-spaced-time-series correlation statistical-significance normalization population group-differences demography

Als «large-data» getaggte Fragen