Statistiken und Big Data

4

Ich vergleiche zwei Verteilungen mit der KL-Divergenz, die mir eine nicht standardisierte Zahl zurückgibt, die nach dem, was ich über diese Kennzahl gelesen habe, die Informationsmenge ist, die erforderlich ist, um eine Hypothese in die andere umzuwandeln. Ich habe zwei Fragen: a) Gibt es eine Möglichkeit, eine KL-Divergenz so zu …

14 distributions kullback-leibler information-geometry

3

Was bedeutet Fisher mit diesem Zitat?

Ich sehe dieses berühmte Zitat überall, verstehe den hervorgehobenen Teil jedoch nicht jedes Mal. Ein Mann, der eine Hypothese aus Gewohnheitsgründen provisorisch ablehnt, wenn die Signifikanz bei 1% oder höher liegt, wird mit Sicherheit in nicht mehr als 1% solcher Entscheidungen falsch liegen. Denn wenn die Hypothese richtig ist, wird …

14 hypothesis-testing statistical-significance references experiment-design philosophical

1

Was ist Deborah Mayos „Schweregrad“?

Kann jemand eine ausführliche (und klare) Erklärung geben, was ihre "Schwere" bedeutet (ist es nicht nur die Potenzfunktion, die bei verschiedenen Abweichungen als Nullhypothese bewertet wird?) Und wie sie allgemein in die statistische Testliteratur passt?

14 hypothesis-testing statistical-significance

3

Was ist der Maximalwert der Kullback-Leibler (KL) -Divergenz?

Ich werde KL-Divergenz in meinem Python-Code verwenden und habe dieses Tutorial erhalten . In diesem Tutorial ist die Implementierung der KL-Divergenz recht einfach. kl = (model * np.log(model/actual)).sum() Soweit ich weiß, sollte die Wahrscheinlichkeitsverteilung von modelund actual<= 1 sein. Meine Frage ist, was ist die maximale Schranke / der maximal …

14 machine-learning distance kullback-leibler

5

Modell mit gemischten Effekten: Vergleichen Sie die zufällige Varianzkomponente über die Ebenen einer Gruppierungsvariablen

Angenommen , ich habe Teilnehmer, von denen jeder eine Antwort gibt mal 20, 10 in einem Zustand und 10 in einem anderen. Ich passe ein lineares Mischeffektmodell an, das in jeder Bedingung vergleicht. Hier ist ein reproduzierbares Beispiel, das diese Situation anhand des Pakets in simuliert :Y YNNNYYYYY.Ylme4R library(lme4) fml …

14 r mixed-model lme4-nlme

1

Warum sollte der normalisierte Gini-Score anstelle der AUC als Bewertung verwendet werden?

Kaggles Wettbewerb Die Safe Driver Prediction von Porto Seguro verwendet den normalisierten Gini-Score als Bewertungsmaßstab. Dies hat mich neugierig gemacht, welche Gründe für diese Entscheidung sprechen . Was sind die Vorteile der Verwendung eines normalisierten Gini-Scores anstelle der gebräuchlichsten Metriken wie AUC für die Auswertung?

14 classification auc model-evaluation gini

1

Caret glmnet vs cv.glmnet

Es scheint eine Menge Verwirrung im Vergleich zwischen der Verwendung von glmnetinside caretzur Suche nach einem optimalen Lambda und der Verwendung cv.glmnetderselben Aufgabe zu geben. Viele Fragen wurden gestellt, zB: Klassifizierungsmodell train.glmnet vs. cv.glmnet? Was ist der richtige Weg, um glmnet mit caret zu verwenden? Quervalidierung von "glmnet" mit "caret" …

14 r caret glmnet machine-learning neural-networks maximum softmax probability distributions mathematical-statistics random-variable cdf statistical-significance variance expected-value ratio sample-size reliability tolerance-interval wilcoxon-signed-rank self-study variance sampling mean machine-learning svm libsvm self-study sampling ranks data-visualization histogram machine-learning classification normal-distribution mathematical-statistics maximum-likelihood mixture predictive-models prediction seasonality

1

Eine intuitive Erklärung, warum das Benjamini-Hochberg-FDR-Verfahren funktioniert?

Gibt es eine einfache Möglichkeit zu erklären, warum das Verfahren von Benjamini und Hochberg (1995) tatsächlich die Rate falscher Entdeckungen (FDR) kontrolliert? Dieses Verfahren ist so elegant und kompakt, und dennoch ist der Beweis, warum es in der Unabhängigkeit funktioniert (siehe Anhang ihrer Arbeit von 1995 ), nicht leicht zugänglich.

14 intuition false-discovery-rate teaching

2

Korrelierte Bernoulli-Studien, multivariate Bernoulli-Verteilung?

Ich vereinfache eine Forschungsfrage, die ich bei der Arbeit habe. Stellen Sie sich vor, ich hätte 5 Münzen und lasst uns Heads als Erfolg bezeichnen. Dies sind SEHR voreingenommene Münzen mit einer Erfolgswahrscheinlichkeit von p = 0,1. Nun, wenn die Münzen unabhängig waren, dann bekommt die Wahrscheinlichkeit von mindestens 1 …

14 multivariate-analysis bernoulli-distribution copula

1

Der Unterschied zwischen mit oder ohne Intercept-Modell in der logistischen Regression

Ich verstehe gerne den Unterschied zwischen mit und ohne Intercept-Modell in der logistischen Regression Gibt es einen Unterschied zwischen ihnen, außer dass die Koeffizienten beim Schnittpunkt das Protokoll (Odds Ratio) in Bezug auf die Basisliniengruppe und ohne Schnittpunkt das Protokoll (Odds) betrachten? Nach dem, was ich gesehen habe, sind die …

14 regression logistic interpretation model intercept

2

Scikit-Methode zum Kalibrieren von Klassifikatoren mit CalibratedClassifierCV

Scikit verfügt über CalibratedClassifierCV , mit dem wir unsere Modelle für ein bestimmtes X, Y-Paar kalibrieren können. Es heißt auch klar, dassdata for fitting the classifier and for calibrating it must be disjoint. Wenn sie disjunkt sein müssen, ist es legitim, den Klassifikator mit den folgenden zu trainieren? model = …

14 cross-validation scikit-learn validation train calibration

1

Wie ist die Differentialentropie zu interpretieren?

Ich habe kürzlich diesen Artikel über die Entropie einer diskreten Wahrscheinlichkeitsverteilung gelesen . Es beschreibt eine nette Art, über Entropie nachzudenken, da die erwartete Anzahl von Bits (zumindest bei Verwendung von in Ihrer Entropiedefinition) zum Codieren einer Nachricht benötigt wird, wenn Ihre Codierung unter Berücksichtigung der Wahrscheinlichkeitsverteilung der von Ihnen …

14 entropy information-theory

3

Lineare Regression Was sagt uns die F-Statistik, das R-Quadrat und der Reststandardfehler?

Ich bin wirklich verwirrt über den Bedeutungsunterschied im Zusammenhang mit der linearen Regression der folgenden Begriffe: F-Statistik R im Quadrat Reststandardfehler Ich habe diesen Webstie gefunden der mir einen guten Einblick in die verschiedenen Begriffe der linearen Regression gegeben hat. Die oben genannten Begriffe sehen jedoch ziemlich ähnlich aus (soweit …

14 linear-model nonlinear-regression linear f-statistic

3

Warum soll / soll (?) Die statistische Erhebung für die Politik funktionieren (zB Gallup)?

Umfragen (sagen wir Gallup) haben eine absurd niedrige Anzahl von Menschen im Vergleich zur Bevölkerungszahl ergeben (z. B. vielleicht tausend von Hunderten von Millionen Menschen). Für mich ist die Auswahl einer Population als Mittel zur Schätzung der Bevölkerungsstatistik sinnvoll, wenn Sie einen starken Grund zu der Annahme haben, dass die …

14 sampling sample-size

2

Wie lautet die Formel für den Benjamini-Hochberg-bereinigten p-Wert?

Ich verstehe das Verfahren und was es steuert. Wie lautet also die Formel für den angepassten p-Wert in der BH-Prozedur für Mehrfachvergleiche? In diesem Moment wurde mir klar, dass das ursprüngliche BH keine angepassten p-Werte produziert, sondern nur die (nicht-) Ablehnungsbedingung angepasst hat: https://www.jstor.org/stable/2346101 . Gordon Smyth hat 2002 ohnehin …

14 hypothesis-testing p-value multiple-comparisons false-discovery-rate