Statistiken und Big Data

1

Welches binomiale Vorhersageintervall für Schwanzwahrscheinlichkeiten gut funktioniert, dh für großes

Ich arbeite an einem Problem mit den folgenden Eigenschaften. Die verfügbaren Daten sind zahlreich - in der Größenordnung vonxxx10610610^6 Der CDF unterstützt nichtnegative reelle Zahlen.F.X.FXF_X Ich kenne .F.X.FXF_X Wir können davon ausgehen, dass die Daten iid sind. Ich versuche die Wahrscheinlichkeit abzuschätzen, dass eine zukünftige Stichprobe aus unter das Stichprobenminimum …

7 mathematical-statistics binomial prediction-interval

1

Gibt es einen Unterschied zwischen der Schätzung von und in einer Simulationsstudie?

Gibt es in einer Simulationsstudie einen Unterschied zwischen ∙∙\bullet schätzt die Varianz , mal und nimmt ihren Durchschnitt undσ2σ2\sigma^2100010001000 ∙∙\bullet Abschätzen der Standardabweichung , mal und seine durchschnittliche Einnahme?σσ\sigma100010001000 Kann ich irgendjemanden davon machen? Gibt es eine Präferenz für eine bestimmte?

7 self-study mathematical-statistics unbiased-estimator moments invariance

1

Poisson-Abweichung (xgboost vs gbm vs Regression)

Ich würde gerne wissen, welches der Abweichungsausdruck in der Poisson-Regression ist, der mit einem xgboostWerkzeug verwendet wird (extreme Gradientenverstärkung). Laut Quellcode lautet die Auswertungsfunktion: struct EvalPoissonNegLogLik : public EvalEWiseBase { const char *Name() const override { return "poisson-nloglik"; } inline bst_float EvalRow(bst_float y, bst_float py) const { const bst_float eps …

7 regression poisson-distribution gbm xgboost

3

Wahrscheinlichkeit von Gamma größer als exponentiell

Sei und .X.∼ G a m m a ( 3 , 3 )X∼Gamma(3,3)X \sim Gamma(3,3)Y.∼ E.x p ( 1 )Y∼Exp(1)Y \sim Exp(1) Wie berechne ich ?P.( X.> Y.)P(X>Y)P(X>Y) Ich glaube, ich schreibe es als , bin mir aber nicht sicher, wie ich für zwei verschiedene Verteilungen berechnen soll ?P.( X.- …

7 probability distributions exponential

1

Interpretation der Kalibrierkurve

Ich habe ein schrittweise abgeleitetes binäres logistisches Regressionsmodell. Ich habe die calibrate(, bw=200, bw=TRUE)Funktion im rmsPaket in R verwendet, um die zukünftige Kalibrierung abzuschätzen. Die Ausgabe ist unten angegeben und zeigt die durch die Bootstrap-Überanpassung korrigierte Kalibrierungskurvenschätzung für das logistische Rückwärts-Abwärtsmodell. Ich bin mir jedoch nicht sicher, wie ich es …

7 r logistic multiple-regression regression-strategies calibration

2

Vorausschauendes Wartungsmodell zur Identifizierung von Anzeichen eines Fehlers, bevor dieser auftritt

Situation Ich arbeite an einem Problem, bei dem ich Sensordaten verwende, um einen Maschinenausfall vorherzusagen, bevor der Fehler auftritt, und ich benötige einige Ratschläge zu den zu untersuchenden Methoden. Insbesondere möchte ich Hinweise auf einen bevorstehenden Fehler identifizieren, bevor der Fehler tatsächlich auftritt. Im Idealfall ist dies mit einer ausreichenden …

7 machine-learning time-series predictive-models prediction-interval

1

Warum werden Deep-Believe-Netzwerke (DBN) selten verwendet?

Ich habe dieses Buch über tiefes Lernen von Ian und Aron gelesen. In der Beschreibung von DBN heißt es, DBN sei in Ungnade gefallen und werde selten verwendet. Deep-Believe-Netzwerke haben gezeigt, dass Deep-Architekturen erfolgreich sein können, indem sie kernelisierte Support-Vektor-Maschinen im MNIST-Datensatz übertreffen (Hinton et al., 2006). Heutzutage sind Deep-Believe-Netzwerke …

7 machine-learning deep-learning deep-belief-networks

3

Ganzzahlige Daten: kategorisch oder kontinuierlich?

Ich frage mich, ob ganzzahlige Prädiktordaten als kategorisch (daher codierungsbedürftig) oder kontinuierlich behandelt werden sollten. Wenn der Bereich eines bestimmten Prädiktors Xbeispielsweise alle Ganzzahlen zwischen 1 und 230 sind, kann ich ihn dann als kontinuierliche Variable behandeln oder sollte ich ihn codieren, um 230 (oder vielleicht 229) neue Dummy-Variablen zu …

7 regression classification categorical-data continuous-data

5

Was ist ein gutes Buch oder eine Referenz für die Datenvisualisierung?

Ich suche nach Referenzen zum Erstellen effektiver Grafiken / Datenvisualisierungen. Ich habe eine Reihe von Büchern gefunden, die zeigen, wie Datenvisualisierungen mit bestimmten Tools (wie R / ggplot vs python / pandas) erstellt werden, aber das ist nicht wirklich das, wonach ich suche. Ich suche nach einer Referenz, die verschiedene …

7 data-visualization references

2

Wie ist die Verteilung des (willkürlich) gewichteten Maximum Likelihood Estimator?

Angenommen, Sie beobachten den Vektor unabhängiger Variablen und y_i- abhängiger Variablen mit der Wahrscheinlichkeit l \ left (\ theta; X_i, y_i \ right) . Angenommen, die y_i sind unabhängig. Nehmen Sie außerdem an, Sie erhalten positive Gewichte , w_i, die beliebig sind, und berechnen den gewichteten Maximum Likelihood Estimator (WMLE?): …

7 estimation maximum-likelihood weighted-data weights

1

Am leichtesten zugängliche Einführung in die Richtungsstatistik?

Frage: Hat jemand eine Empfehlung für eine Referenz, die "die am besten zugängliche" Einführung in die Richtungsstatistik ist ? Wenn ich "zugänglich" sage, meine ich, dass viele Autoren auf ihrem Gebiet so erfahren und sachkundig sind, dass sie Dinge, die für Neulinge verwirrend sind, oft als selbstverständlich betrachten. Wenn es …

7 references circular-statistics information-geometry

3

Paradox des Poisson-Prozesses mit mindestens einem Ereignis im Intervall

Lassen eine Anzahl von Ereignissen in Poisson Prozess der unitären Rate ( ) innerhalb Intervall der Länge T . Es ist bekannt, dass mindestens ein Ereignis in dem Intervall beobachtet wurde. Ich möchte die Wahrscheinlichkeit ermitteln, dass sich mehr Ereignisse in dem Intervall befinden.XTXTX_Tλ=1λ=1\lambda = 1TTT Meine Intuition ist, dass …

7 self-study conditional-probability poisson-process paradox

3

Statistischer Ansatz zum Vergleich der Kalibrierung zwischen Modellen

Dies scheint ein häufiges Problem zu sein, aber ich kann keine Lösung finden. Ich habe eine Reihe von binären Beobachtungen und zwei verschiedene Modelle, jedes mit Vorhersagen für jede Beobachtung. Ich möchte die Kalibrierung der Modelle vergleichen. Es gibt verschiedene Ansätze zum Vergleichen der Unterscheidung dieser Modelle (dh siehe den …

7 r machine-learning logistic calibration scoring-rules

1

Ausdrücken der LASSO-Regressionsbeschränkung über den Strafparameter

7 lasso

1

nichtlineare kleinste Quadrate gegen maximale Wahrscheinlichkeit in R, nls () oder nlm ()?

Ich schätze das Modell E.( Y.| X.) = P.r ( Y.= 1 | X.) =α0+ ( 1 -α0- -α1) ϕ (X.'β) ,E(Y|X)=Pr(Y=1|X)=α0+(1−α0−α1)ϕ(X′β),E(Y|X) = Pr(Y=1|X) = \alpha_0 + (1 - \alpha_0 - \alpha_1)\phi(X'\beta),Dabei sind und Parameter, ist ein Längenvektor von Parametern, ist eine Datenmatrix, die abhängige Variable ist eine Binärdatei und …

7 r maximum-likelihood nonlinear nls