Statistiken und Big Data

1

Ein Bayes-Faktor wird beim Bayes'schen Testen der Hypothese und der Bayes'schen Modellauswahl durch das Verhältnis zweier Grenzwahrscheinlichkeiten definiert: bei gegebener iid-Stichprobe und entsprechenden Abtastdichten und mit den entsprechenden Prioritäten und ist der Bayes-Faktor für den Vergleich der beiden Modelle Ein Buch, das ich gerade rezensiere, hat die seltsame Aussage, dass …

9 bayes marginal sequential-analysis bayes-factors

1

Können wir immer eine rechtwinklige Verteilung in Bezug auf die Zusammensetzung einer beliebigen und einer symmetrischen Verteilung umschreiben?

Betrachten Sie eine zweimal differenzierbare und symmetrische Verteilung . Betrachten Sie nun eine zweite zweimal differenzierbare Verteilung rigth, die in dem Sinne verzerrt ist, dass:F Z.FXFX\mathcal{F}_XFZFZ\mathcal{F}_Z (1)FX⪯cFZ.(1)FX⪯cFZ.(1)\quad\mathcal{F}_X\preceq_c\mathcal{F}_Z. Dabei ist die konvexe Ordnung von van Zwet [0], so dass äquivalent ist zu: ( 1 )⪯c⪯c\preceq_c(1)(1)(1) (2)F−1ZFX(x) is convex ∀x∈R.(2)FZ−1FX(x) is convex …

9 distributions skewness

3

Wie kann ich feststellen, dass die PCA-Ergebnisse kein Muster enthalten?

Ich habe einen Datensatz mit mehr als 1000 Beispielen mit 19 Variablen. Mein Ziel ist es, eine binäre Variable basierend auf den anderen 18 Variablen (binär und stetig) vorherzusagen. Ich bin ziemlich sicher, dass 6 der Vorhersagevariablen mit der binären Antwort verknüpft sind. Ich möchte jedoch den Datensatz weiter analysieren …

9 pca

3

Wie man beweist, dass

Ich habe versucht, die Ungleichung festzustellen |Ti|=∣∣Xi−X¯∣∣S≤n−1n−−√|Ti|=|Xi−X¯|S≤n−1n\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}} Dabei ist der Stichprobenmittelwert und die Standardabweichung der Stichprobe, dh . SS=√X¯X¯\bar{X}SSSS=∑ni=1(Xi−X¯)2n−1−−−−−−−−−√S=∑i=1n(Xi−X¯)2n−1S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}} Es ist leicht zu erkennen, dass und so aber dies ist nicht sehr nahe an dem, wonach ich gesucht habe, und es …

9 self-study descriptive-statistics bounds

7

Finden Sie enge Paare in einem sehr hochdimensionalen Raum mit spärlichen Vektoren

Ich habe (~ eine Million) Merkmalsvektoren. Es gibt (~ eine Million) binäre Merkmale, aber in jedem Vektor wären nur (~ tausend) von ihnen , der Rest ist . Ich suche nach Vektorpaaren, die mindestens (~ hundert) Merkmale gemeinsam haben ( in beiden). Die Anzahl solcher Paare ist ähnlich groß wie …

9 algorithms high-dimensional

1

Wie viele Seiten hat ein Würfel? Bayesianische Folgerung in JAGS

Problem Ich möchte auf ein System schließen, das analog dazu ist, mit einer unbekannten Anzahl von Seiten zu sterben. Der Würfel wird mehrmals gewürfelt, wonach ich eine Wahrscheinlichkeitsverteilung über einen Parameter ableiten möchte, der der Anzahl der Seiten des Würfels entspricht, θ. Intuition Wenn Sie nach 40 Rollen 10 Rot-, …

9 r probability bayesian jags

2

Interpretation und Durchführung von Prognosen mit dem tsoutliers-Paket und auto.arima

Ich habe monatliche Daten von 1993 bis 2015 und möchte diese Daten prognostizieren. Ich habe das tsoutliers-Paket verwendet, um die Ausreißer zu erkennen, aber ich weiß nicht, wie ich mit meinen Daten weiter prognostizieren soll. Das ist mein Code: product.outlier<-tso(product,types=c("AO","LS","TC")) plot(product.outlier) Dies ist meine Ausgabe vom tsoutliers-Paket ARIMA(0,1,0)(0,0,1)[12] Coefficients: sma1 …

9 r time-series forecasting arima outliers

1

So stellen Sie benutzerdefinierte Kontraste mit lmer in R ein

Ich verwende lmer in R, um die Auswirkung von condition ( cond) auf ein Ergebnis zu überprüfen . Hier sind einige aus Daten, wobei s der Objektidentifizierer und a, bund csind Bedingungen. library("tidyr") library("dplyr") set.seed(123) temp <- data.frame(s = paste0("S", 1:30), a = rnorm(30, -2, 1), b = rnorm(30, -3, …

9 r lme4-nlme contrasts

2

Warum nimmt die Summe der quadratischen Residuen beim Hinzufügen einer erklärenden Variablen nicht zu?

In meinem ökonometrischen Lehrbuch (Introductory Econometrics) über OLS schreibt der Autor: "SSR muss fallen, wenn eine weitere erklärende Variable hinzugefügt wird." Warum ist es?

9 regression optimization econometrics intuition sums-of-squares

1

Es ist alles in der Familie; Aber schließen wir auch die Schwiegereltern ein?

Angenommen, ich habe ein Experiment mit zwei oder mehr Faktoren. Es wird eine Gesamt-ANOVA erstellt, und anschließend werden zwei oder mehr Sätze von Post-hoc- Tests durchgeführt, beispielsweise mehrere Vergleiche. Meine Frage ist, wie groß --- und wie viele --- Familien als Grundlage für die Multiplizitätsanpassungen dieser Post-hoc- Tests verwendet werden …

9 multiple-comparisons post-hoc

1

Warum eine in umgekehrte Dokumenthäufigkeit hinzufügen?

Mein Lehrbuch listet die IDF als wol o g( 1 + N.nt)log(1+Nnt)log(1+\frac{N}{n_t}) : Anzahl der DokumenteN.NN : Anzahl der Dokumente, die den Begriff t enthaltenntntn_tttt Wikipedia listet diese Formel als eine geglättete Version des aktuellen . Das verstehe ich: es reicht vonlog(N.log(Nnt)log(Nnt)log(\frac{N}{n_t})bis∞,was intuitiv erscheint. Aberlog(1+N.log(NN)=0log(NN)=0log(\frac{N}{N})=0∞∞\inftygeht vonlog(1+1)nach∞,was so seltsam erscheint ... …

9 text-mining natural-language smoothing

2

Multinomial Logistic Loss vs (Kreuzentropie vs quadratischer Fehler)

Ich beobachtete, dass Caffe (ein Deep-Learning-Framework) die Softmax-Verlustschicht SoftmaxWithLoss als Ausgabeschicht für die meisten Modellbeispiele verwendete . Soweit ich weiß, ist die Softmax-Verlustschicht die Kombination aus multinomialer logistischer Verlustschicht und Softmax-Schicht . Von Caffe sagten sie das Die Berechnung des Gradienten der Softmax-Verlustschicht ist numerisch stabiler Diese Erklärung ist jedoch …

9 multinomial entropy sums-of-squares softmax

2

Was ist VectorSource und VCorpus im Paket 'tm' (Text Mining) in R.

Ich bin mir nicht ganz sicher, was genau VectorSource und VCorpus im 'tm'-Paket enthalten. Die Dokumentation dazu ist unklar. Kann mich jemand in einfachen Worten verstehen lassen?

9 r text-mining

1

Wann werden unsachgemäße lineare Modelle robust schön?

Fragen: Werden in der Praxis falsche lineare Modelle verwendet oder werden sie von Zeit zu Zeit in wissenschaftlichen Fachzeitschriften beschrieben? Wenn ja, in welchen Bereichen werden sie eingesetzt? Gibt es andere Beispiele für solche Modelle? Schließlich wären Standardfehler, Werte, usw., die OLS für solche Modelle entnommen wurden, korrekt oder sollten …

9 regression references linear-model robust

1

Wie erhöht sich der Gradient wie der Gradientenabstieg?

Ich lese den nützlichen Wikipedia-Eintrag zum Gradienten-Boosting ( https://en.wikipedia.org/wiki/Gradient_boosting ) und versuche zu verstehen, wie / warum wir die Residuen durch den steilsten Abstiegsschritt (auch Pseudo-Gradient genannt) approximieren können ). Kann mir jemand die Intuition geben, wie der steilste Abstieg mit den Residuen verbunden / ähnlich ist? Hilfe sehr geschätzt!

9 self-study gradient-descent