Statistiken und Big Data

1

Anpassen der negativen Binomialverteilung an Daten mit großer Anzahl

Ich habe ~ 1 Million Datenpunkte. Hier ist der Link zur Datei data.txt. Jeder von ihnen kann einen Wert zwischen 0 und 145 annehmen. Es handelt sich um einen diskreten Datensatz. Unten ist das Histogramm des Datensatzes. Auf der x-Achse ist die Zählung (0-145) und auf der y-Achse ist die …

9 r statistical-significance goodness-of-fit negative-binomial

1

Additive Verzerrung in xgboost (und deren Korrektur?)

Ich nehme gerade an einem Wettbewerb teil. Ich weiß, dass es meine Aufgabe ist, das gut zu machen, aber vielleicht möchte jemand mein Problem und seine Lösung hier diskutieren, da dies auch für andere auf ihrem Gebiet hilfreich sein könnte. Ich habe ein xgboost-Modell trainiert (ein baumbasiertes Modell und ein …

9 machine-learning boosting overfitting bias-correction

1

Wie viel ist zu viel Überanpassung?

Wo ziehen Sie konzeptionell die Grenze zwischen einem Überanpassungsmodell und einem Modell mit angemessener Anpassung? Es ist klar, dass Sie überanpassen, wenn Ihr Modell auf Ihrem Trainingssatz ein paar Prozent besser abschneidet als auf Ihrem Testsatz. Angenommen, ich habe theoretisch ein Modell auf einem Trainingssatz trainiert, dann auf einem Testsatz …

9 machine-learning model overfitting supervised-learning

1

Unterschied zwischen zentriertem und nicht zentriertem ?

Als mein Professor über Anpassungsgütemaßnahmen sprach, erwähnte er sowohl zentriertes als auch nicht zentriertes R2R2R^2 aber ich bin nicht sicher, ob ich den Unterschied zwischen ihnen hinsichtlich ihrer praktischen Anwendung verstanden habe. In Formeln definierte er R2=y′P[X]M[1]P[X]yy′M[1]yR2=y′P[X]M[1]P[X]yy′M[1]yR^2 = \frac{y'P_{[X]}M_{[1]}P_{[X]}y}{y'M_{[1]}y} und R2u=y′P[X]yy′yRu2=y′P[X]yy′yR^2_u = \frac{y'P_{[X]}y}{y'y} , wobei P[X]P[X]P_{[X]} der orthogonale Projektor der …

9 regression goodness-of-fit

1

Wie kann ich GAM-Ergebnisse interpretieren?

Ich habe eine Frage zu verallgemeinerten additiven Modellen. Was wird Deviance erklärt, GCV-Score und Scale est. In GAM-Ergebnissen? Was zeigen diese Indikatoren?

9 regression gam

1

Simulieren Sie aus einer Null-aufgeblasenen Poisson-Verteilung

Ich versuche aus beobachteten Daten zu simulieren, dass ich zu einem Poisson-Regressionsmodell ohne Inflation passt. Ich passe die Daten in R an, indem ich sie zeroinfl()aus dem Paket verwende pscl, aber ich habe Probleme herauszufinden, wie ich die ZIP-Verteilung aus den Koeffizientenschätzungen ableiten kann. Ich weiß, wie ich die vorhergesagten …

9 r simulation poisson-regression zero-inflation

1

KL Divergenz und Erwartungen

Ich versuche die Erklärung der KL-Divergenz unten zu verstehen. Es bezieht sich, wie ich es verstehe, auf eine Erwartung im zweiten Semester. "Annäherung der Erwartung über q in diesem Term". Wir multiplizieren jedoch q (x) mit dem Protokoll von p (x) (und nicht mit p (x). Ist es immer noch …

9 expected-value kullback-leibler

1

Logistische Regressionsausgabe und Wahrscheinlichkeit [doppelt]

Diese Frage hat hier bereits Antworten : Unterschied zwischen Logit- und Probit-Modellen (10 Antworten) Geschlossen vor 5 Monaten . Wie ist die Interpretation der Zahl, die die logistische Regressionsfunktion ausgibt? Die logistische Funktion f(x⃗ ) =11 +e- g(x⃗ )f(x→)=11+e−g(x→)f(\vec{x}) = \frac{1}{1+e^{-g(\vec{x})}} (wobei eine lineare Funktion ist) soll eine kontinuierliche Variable …

9 probability logistic

1

Zufällige Waldregression - Residuen korrelieren mit der Reaktion

Ich versuche, die Random Forest-Regression zu verwenden. Ich habe eine Antwortvariable: y = rnorm(10000, mean=0, sd=3) Und ein paar Prädiktorvariablen (die nur die Antwort mit zusätzlichem Rauschen sind): x = data.frame(v1=y + rnorm(10000, mean=0, sd=3), v2=y + rnorm(10000, mean=0, sd=3), v3=y + rnorm(10000, mean=0, sd=3)) Ich baue den zufälligen Wald: …

9 r regression machine-learning random-forest ensemble

2

Annahme der gleichen Clustergröße beim Clustering

Ich frage mich: Gibt es beim Clustering von Daten mit einem allgemeinen Algorithmus eine Annahme über ungefähr gleiche Größen der Cluster? Zum Beispiel sollten in k-means, wie ich weiß, alle Cluster ca. gleiche Anzahl von Proben. Gilt das auch für andere Clustering-Algorithmen?

9 clustering k-means

2

Ridge-Regression in R mit p-Werten und Anpassungsgüte

Gratregression in RI haben entdeckt linearRidgeim ridgePaket - das zu einem Modell passt, Koeffizienten und p-Werte angibt, aber nichts, um die allgemeine Anpassungsgüte zu messen lm.ridgeim MASSPaket - das Koeffizienten und GCV, aber keine p-Werte für Parameter meldet Wie kann ich all diese Dinge (Anpassungsgüte, Koeffizienten und p-Werte) aus derselben …

9 r p-value r-squared ridge-regression

2

R: Augmented Dickey Fuller (ADF) -Test

Ich habe ein Problem mit den Dickey-Fuller-p-Werten und der Teststatistik für den Einheitswurzeltest in R. Ich habe versucht, Funktionen zu verwenden: urca::ur.df() fUnitRoots::adfTest() tseries::adf.test() Alle zeigten unterschiedliche Ergebnisse für die gleichen Testeinstellungen (Verzögerung, Typ) im Vergleich zur gretl-Ausgabe. Zum Beispiel: set.seed(1) x <- rnorm(50, 0, 3) schwert.param <- trunc(12 * …

9 r time-series unit-root augmented-dickey-fuller

1

Warum dividieren wir bei der Berechnung der Stichprobenkorrelation durch ?

Ich verstehe die Gründe für die Division durch bei der Berechnung der Stichprobenvarianz, dh wenn wir durch dividieren, erhalten wir eine Schätzung der Populationsvarianz, die voreingenommen ist, um zu niedrig zu sein.n−1n−1n-1nnn Buglear (2013, S. 57) erklärt die Pearson-Korrelation: Wir dividieren aus dem gleichen Grund wie bei der Berechnung der …

9 correlation covariance bessels-correction

1

Vorhersageintervalle für die kNN-Regression

Ich möchte Vorhersageintervalle für Vorhersagen berechnen, die durch kNN-Regression gemacht wurden. Ich kann keine explizite Referenz zur Bestätigung finden, daher lautet meine Frage: Ist dieser Ansatz zur Berechnung der Vorhersageintervalle korrekt? Ich habe einen Referenzdatensatz, in dem jede Zeile ein Ort ist (z. B. Stadt). Ich habe zwei Merkmale (z. …

9 regression k-nearest-neighbour prediction-interval

1

Warum ist mein kombinierter p-Wert, der nach der Fisher-Methode erhalten wurde, so niedrig?

Ich habe mehrere Personen, für die ich zwei Zeitreihen einiger Parameter gesammelt habe. Für jedes Individuum habe ich berechnet, ob diese Zeitreihen korreliert sind. Wenn ich also 20 Personen habe, habe ich als Ergebnis 20 Rho und 20 p-Werte. Dann möchte ich diese Werte in einen Gruppen-p-Wert gruppieren. Zuerst habe …

9 p-value matlab combining-p-values