Statistiken und Big Data

2

Wie viele Proben benötige ich, wenn ich eine Wahrscheinlichkeit von 95% haben möchte, dass weniger als 1% der Objekte fehlerhaft sind?

Ich muss sicherstellen, dass meine XML-Sitemap weniger als Müll enthält (defekte Links). Die Liste der URLs liegt bei Hunderttausenden, und selbst wenn es möglich wäre, sie alle einzeln zu testen, würde ich es aus vielen Gründen lieber nicht tun:1 %1%.1\% 1 - Saved bandwidth 2 - Faster traffic for real …

9 probability confidence-interval sample-size

2

GAMM mit null aufgeblasenen Daten

Ist es möglich, ein GAMM (Generalized Additive Mixed Model) für Daten ohne Inflation in R anzupassen? Wenn nicht, ist es möglich, ein GAM (Generalized Additive Model) für Daten ohne Inflation mit einer negativen Binomial- oder Quasi-Poisson-Verteilung in R anzupassen? (Ich fand COZIGAM :: zigam- und mgcv: ziP- Funktionen für die …

9 poisson-distribution negative-binomial gam zero-inflation

2

Sind die meisten veröffentlichten Korrelationen in den Sozialwissenschaften nicht vertrauenswürdig und was ist dagegen zu tun? [geschlossen]

Geschlossen . Diese Frage basiert auf Meinungen . Derzeit werden keine Antworten akzeptiert. Möchten Sie diese Frage verbessern? Aktualisieren Sie die Frage, damit sie durch Bearbeiten dieses Beitrags mit Fakten und Zitaten beantwortet werden kann . Geschlossen vor 2 Jahren . Trotz der wichtigen, aber klatschenden "gotcha" -istischen Bemühungen von …

9 correlation methodology publication-bias

1

Adaptives GAM glättet in mgcv

Simon Woods Buch über GAMs und sein zugehöriges R-Paket mgcv sind sowohl sehr detailliert als auch informativ, wenn es um GAM-Theorie und Modellanpassung an reale und simulierte Daten geht. Bei 1D-Glättungen gibt es wirklich nicht viel zu befürchten, außer zu entscheiden, ob zyklische oder adaptive Basisfunktionen implementiert werden sollen, was …

9 r mgcv

2

Untersuchung der Unterschiede zwischen Populationen

Angenommen, wir haben eine Stichprobe aus zwei Populationen: Aund B. Nehmen wir an, diese Populationen bestehen aus Individuen und wir beschreiben Individuen anhand von Merkmalen. Einige dieser Funktionen sind kategorisch (z. B. fahren sie zur Arbeit?) Und andere numerisch (z. B. ihre Höhe). Nennen wir diese Funktionen: . Wir sammeln …

9 anova random-forest cart group-differences

2

Standardisierung vs. Normalisierung für Lasso / Ridge-Regression

Ich bin mir bewusst, dass es gängige Praxis ist, die Merkmale für die Ridge- und Lasso-Regression zu standardisieren. Wäre es jedoch jemals praktischer, die Merkmale auf einer (0,1) -Skala als Alternative zur Z-Score-Standardisierung für diese Regressionsmethoden zu normalisieren?

9 normalization lasso standardization ridge-regression

1

Warum in lateinischen Quadraten die Zeilen, Behandlungen und Spalten orthogonal sein sollen

Ich habe im Bereich der Geometrie immer "orthogonal" gehört (bitte beachten Sie auch, dass ich kein englischer Muttersprachler bin). Ich verstehe Folgendes für lateinische Quadrate (ein Zitat aus einem Lehrbuch) nicht: Jede Behandlung (ABCD) erscheint einmal in jeder Reihe. Daher sind die Behandlungen und Reihen orthogonal. ... Zeilen und Spalten …

9 experiment-design combinatorics latin-square

4

Regularisierung: Warum mit 1 / 2m multiplizieren?

In den Vorlesungsnotizen der dritten Woche der Coursera Machine Learning-Klasse von Andrew Ng wird der Kostenfunktion ein Begriff hinzugefügt, um die Regularisierung zu implementieren: J.+( θ ) = J.( θ ) + λ2 m∑j = 1nθ2jJ.+(θ)=J.(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 In den Vorlesungsunterlagen heißt es: Wir könnten auch …

9 regularization

4

Warum bedeutet die Tatsache, dass 1 Median niedriger als ein anderer Median ist, nicht, dass die meisten in Gruppe 1 kleiner sind als die meisten in Gruppe 2?

Ich glaubte, dass die folgenden Boxplots als "die meisten Männer sind schneller als die meisten Frauen" (in diesem Datensatz) interpretiert werden könnten, hauptsächlich weil die mittlere Männerzeit niedriger war als die mittlere Frauenzeit. Aber der EdX-Kurs zu R und Statistik- Quiz hat mir gesagt, dass das falsch ist. Bitte helfen …

9 quantiles histogram boxplot eda

1

P-Werte und Wahrscheinlichkeitsprinzip

Diese Frage stellte sich im Unterricht: Wenn wir p-Werte verwenden, um Hypothesen für ein Experiment zu bewerten, welchen Teil des Wahrscheinlichkeitsprinzips befolgen wir nicht: Suffizienz oder Konditionalität ? Meine Intuition wäre, Suffizienz zu sagen , da die Berechnung eines p-Werts auf unbeobachteten Ergebnissen eines Experiments beruht und Suffizienz sich mehr …

9 likelihood philosophical likelihood-principle

2

Kaplan-Meier-Kurven scheinen etwas anderes zu sagen als die Cox-Regression

In R mache ich eine Überlebensdatenanalyse von Krebspatienten. Ich habe sehr hilfreiche Artikel über Überlebensanalysen in CrossValidated und anderen Orten gelesen und denke, ich habe verstanden, wie man die Cox-Regressionsergebnisse interpretiert. Ein Ergebnis nervt mich jedoch immer noch ... Ich vergleiche das Überleben mit dem Geschlecht. Die Kaplan-Meier-Kurven sprechen eindeutig …

9 r survival cox-model kaplan-meier

1

Sind Funktionsanalyse und Hilbert-Räume beim maschinellen Lernen nützlich? Wenn das so ist, wie?

Ich habe mich gefragt, wie Hilbert Spaces und Funktionsanalysen für maschinelles Lernen nützlich sind. Ich dachte, maschinelles Lernen sei eine Mischung aus Statistik, Informatik und Optimierung. Wie hängt die Funktionsanalyse damit zusammen?

9 machine-learning mathematical-statistics computational-statistics

3

Schätzen Sie die Divergenz von Kullback Leibler (KL) mit Monte Carlo

Ich möchte die KL-Divergenz zwischen zwei kontinuierlichen Verteilungen f und g abschätzen. Ich kann jedoch weder für f noch für g die Dichte aufschreiben. Ich kann sowohl von f als auch von g über eine Methode (zum Beispiel Markov Chain Monte Carlo) probieren. Die KL-Divergenz von f nach g ist …

9 kullback-leibler

2

Umgekehrtes Geburtstagsproblem mit mehreren Kollisionen

Angenommen, Sie hatten ein außerirdisches Jahr mit einer unbekannten Länge N. Wenn Sie eine zufällige Stichprobe dieser Außerirdischen haben und einige von ihnen Geburtstage teilen, können Sie diese Daten verwenden, um die Länge des Jahres zu schätzen? In einer Stichprobe von 100 könnten Sie beispielsweise zwei Drillinge (dh zwei Geburtstage, …

9 estimation inference birthday-paradox

3

Bayesianische Modellauswahl und glaubwürdiges Intervall

Ich habe einen Datensatz mit drei Variablen, wobei alle Variablen quantitativ sind. Nennen wir es , und . Ich passe ein Regressionsmodell in einer Bayes'schen Perspektive über MCMC mit anyyyx1x1x_1x2x2x_2rjags Ich habe eine explorative Analyse durchgeführt und das Streudiagramm von , dass ein quadratischer Term verwendet werden sollte. Dann habe …

9 bayesian feature-selection model-selection model credible-interval