Statistiken und Big Data

1

Multivariante Zeitreihen in R. So finden Sie verzögerte Korrelationen und erstellen ein Modell für die Vorhersage

Ich bin neu auf der Seite und ziemlich neu in der Statistik und R. Ich arbeite an einem Projekt für das College mit dem Ziel, die Korrelation zwischen Regen und Wasserfluss in Flüssen zu finden. Sobald die Korrelation bewiesen ist, möchte ich sie vorhersagen. Die Daten Ich habe einen Datensatz …

16 r time-series forecasting cross-correlation lags

1

Bedeutung einer Konvergenzwarnung in glmer

Ich verwende die glmerFunktion aus dem lme4Paket in R und verwende den bobyqaOptimierer (dh die Standardeinstellung in meinem Fall). Ich bekomme eine Warnung und bin gespannt, was das bedeutet. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region …

16 r optimization lme4-nlme convergence glmm

1

Ausreichende Statistik, Besonderheiten / Intuitionsprobleme

Ich bringe mir zum Spaß ein paar Statistiken bei und bin verwirrt, was ausreichende Statistiken angeht . Ich schreibe meine Verwirrungen in Listenform auf: Wenn eine Distribution Parameter hat, hat sie dann ausreichende Statistiken?nnnnnnn Gibt es eine direkte Korrespondenz zwischen der ausreichenden Statistik und den Parametern? Oder dienen die ausreichenden …

16 mathematical-statistics sufficient-statistics

2

stochastischer vs. deterministischer Trend / Saisonalität in der Zeitreihenvorhersage

Ich habe einen moderaten Hintergrund in der Vorhersage von Zeitreihen. Ich habe mehrere Prognosebücher angeschaut und sehe in keinem die folgenden Fragen. Ich habe zwei Fragen: Wie würde ich objektiv (über einen statistischen Test) feststellen, ob eine bestimmte Zeitreihe Folgendes aufweist: Stochastische Saisonalität oder deterministische Saisonalität Stochastischer Trend oder deterministischer …

16 time-series forecasting arima stochastic-processes

4

Erwarteter Wert des Stichprobenmedians bei gegebenem Stichprobenmittelwert

Lassen den Median bezeichnen und lassen das Mittel bezeichnet, eine Stichprobe der Größe aus einer Verteilung , das ist . Wie kann ich berechnen ?YYYX¯X¯\bar{X}n=2k+1n=2k+1n=2k+1N(μ,σ2)N(μ,σ2)N(\mu,\sigma^2)E(Y|X¯=x¯)E(Y|X¯=x¯)E(Y|\bar{X}=\bar{x}) Aufgrund der Normalitätsannahme ist es intuitiv sinnvoll zu behaupten, dass und dies ist in der Tat die richtige Antwort. Kann das konsequent gezeigt werden?E(Y|X¯=x¯)=x¯E(Y|X¯=x¯)=x¯E(Y|\bar{X}=\bar{x})=\bar{x} Mein …

16 self-study normal-distribution mathematical-statistics expected-value conditional-expectation

4

Was zu glauben: Kolmogorov-Smirnov-Test oder QQ-Plot?

Ich versuche festzustellen, ob mein Datensatz mit kontinuierlichen Daten einer Gammaverteilung mit den Parametern shape 1.7 und rate 0.000063 folgt.====== Das Problem ist, wenn ich mit R ein QQ-Diagramm meines Datensatzes gegen die theoretische Verteilung Gamma (1,7, 0,000063) erstelle, bekomme ich ein Diagramm, das zeigt, dass die empirischen Daten in …

16 pdf kolmogorov-smirnov cdf qq-plot

2

Featureauswahl mit zufälligen Wäldern

Ich habe einen Datensatz mit hauptsächlich finanziellen Variablen (120 Features, 4k-Beispiele), die größtenteils stark korreliert und sehr verrauscht sind (z. B. technische Indikatoren). Daher möchte ich für die spätere Verwendung beim Modelltraining (binäre Klassifizierung) maximal 20-30 auswählen - erhöhen verringern). Ich dachte darüber nach, zufällige Wälder für das Feature-Ranking zu …

16 feature-selection random-forest python

1

Die Varianz zufälliger Effekte in lmer () -Modellen verstehen

Ich habe Probleme, die Ausgabe meines lmer()Modells zu verstehen . Es ist ein einfaches Modell einer Ergebnisvariablen (Support) mit unterschiedlichen Zustandsabschnitten / Zustandszufallseffekten: mlm1 <- lmer(Support ~ (1 | State)) Die Ergebnisse von summary(mlm1)sind: Linear mixed model fit by REML Formula: Support ~ (1 | State) AIC BIC logLik deviance …

16 r mixed-model random-effects-model lme4-nlme

2

Unter welchen Bedingungen übertreffen Gradientenverstärkungsmaschinen zufällige Wälder?

Kann Friedmans Steigungsverstärkungsmaschine eine bessere Leistung erzielen als Breimans Random Forest ? Wenn ja, unter welchen Bedingungen oder mit welchen Daten kann gbm verbessert werden?

16 machine-learning data-mining random-forest boosting

1

Problem beim Definieren der ARIMA-Bestellung

Dies ist ein langer Beitrag, also hoffe ich, dass Sie ihn mit mir tragen können, und bitte korrigieren Sie mich, wo ich falsch liege. Mein Ziel ist es, eine tägliche Prognose auf der Grundlage von historischen Daten für 3 oder 4 Wochen zu erstellen. Die Daten sind 15-Minuten-Daten der lokalen …

16 forecasting arima model-selection seasonality fourier-transform

2

Einklassen-SVM vs. exemplarische SVM

Ich verstehe, dass Ein-Klassen-SVMs (OSVMs) ohne Berücksichtigung negativer Daten vorgeschlagen wurden und dass sie nach Entscheidungsgrenzen suchen, die eine positive Menge und einen negativen Ankerpunkt, beispielsweise den Ursprung, trennen. Eine Arbeit aus dem Jahr 2011 schlägt beispielhafte SVMs (ESVMs) vor, die einen "einzelnen Klassifikator pro Kategorie" ausbilden, der sich von …

16 machine-learning svm

2

Darstellung der räumlichen und zeitlichen Korrelation auf Karten

Ich habe Daten für ein Netzwerk von Wetterstationen in den USA. Dies gibt mir einen Datenrahmen, der Datum, Breite, Länge und einige Messwerte enthält. Angenommen, die Daten werden einmal pro Tag erfasst und sind abhängig vom regionalen Wetter (nein, wir werden nicht auf diese Diskussion eingehen). Ich möchte grafisch zeigen, …

16 r regression data-visualization pca spatial

4

Gibt es ein Gesetz, das besagt, dass seltene Dinge passieren, wenn Sie genug Prüfungen durchführen?

Ich versuche ein Video über geladene Würfel zu machen, und an einem Punkt im Video werfen wir ungefähr 200 Würfel, nehmen alle Sechser, werfen diese erneut und nehmen alle Sechser und werfen diese ein drittes Mal. Wir hatten einen Würfel, der dreimal hintereinander 6 Mal auftauchte, was offensichtlich nicht ungewöhnlich …

16 probability dice law-of-large-numbers

3

Wie kann man das r-Quadrat zwischen Prädiktorvariablen in multipler Regression aufteilen?

Ich habe gerade einen Artikel gelesen, in dem die Autoren eine multiple Regression mit zwei Prädiktoren durchgeführt haben. Der gesamte r-Quadrat-Wert betrug 0,65. Sie stellten eine Tabelle zur Verfügung, die das Quadrat zwischen den beiden Prädiktoren aufteilte. Die Tabelle sah so aus: rsquared beta df pvalue whole model 0.65 NA …

16 r multiple-regression r-squared importance variance-decomposition

1

Warum ist die Kontrolle von FDR weniger streng als die Kontrolle von FWER?

Ich habe gelesen, dass die Kontrolle von FDR weniger streng ist als die Kontrolle von FWER, wie in Wikipedia : FDR-Steuerverfahren üben eine weniger strenge Kontrolle über falsche Entdeckungen aus als FWER-Verfahren (Familywise Error Rate) (wie die Bonferroni-Korrektur). Dies erhöht die Leistung auf Kosten der Erhöhung der Fehlerrate vom Typ …

16 hypothesis-testing multiple-comparisons false-discovery-rate