Statistiken und Big Data

1

Beweis des Pitman-Koopman-Darmois-Theorems

Wo finde ich einen Beweis für den Satz von Pitman-Koopman-Darmois? Ich habe seit einiger Zeit gegoogelt. Seltsamerweise erwähnen viele Notizen diesen Satz, aber keiner von ihnen liefert den Beweis.

9 mathematical-statistics references inference sufficient-statistics

2

Wie ist die Wahrscheinlichkeitsverteilung dieser zufälligen Summe nicht-iider Bernoulli-Variablen?

Ich versuche, die Wahrscheinlichkeitsverteilung einer Summe einer zufälligen Anzahl von Variablen zu finden, die nicht identisch verteilt sind. Hier ist ein Beispiel: John arbeitet in einem Kundendienst-Callcenter. Er erhält Anrufe mit Problemen und versucht diese zu lösen. Diejenigen, die er nicht lösen kann, leitet er an seinen Vorgesetzten weiter. Nehmen …

9 probability distributions random-variable

1

Wann wird die Deming-Regression verwendet?

Ich arbeite derzeit an einer Möglichkeit, zwei verschiedene Phosphortestwerte ineinander umzuwandeln. Hintergrund Es gibt viele (Extraktions-) Methoden, um pflanzenverfügbaren Phosphor im Boden zu messen. Verschiedene Länder wenden unterschiedliche Methoden an. Um die P-Fertilität zwischen den Ländern zu vergleichen, muss der P-Testwert x auf der Grundlage des P-Testwerts y berechnet werden …

9 regression total-least-squares

1

Welches Deep-Learning-Modell kann Kategorien klassifizieren, die sich nicht gegenseitig ausschließen?

Beispiele: Ich habe einen Satz in der Stellenbeschreibung: "Java Senior Engineer in UK". Ich möchte ein Deep-Learning-Modell verwenden, um es als zwei Kategorien vorherzusagen: English und IT jobs. Wenn ich ein traditionelles Klassifizierungsmodell verwende, kann es nur 1 Etikett mit softmaxFunktion auf der letzten Ebene vorhersagen . Somit kann ich …

9 machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

4

Wie bestimme ich, ob zwei Korrelationen signifikant unterschiedlich sind?

Ich möchte bestimmen, welcher von zwei Datensätzen (B1, B2) besser mit einem anderen Satz (A) korreliert (Pearsons r). In allen Datensätzen fehlen Daten. Wie kann ich feststellen, ob die resultierende Korrelation signifikant unterschiedlich ist oder nicht? Beispielsweise sind 8426-Werte sowohl in A als auch in B1 vorhanden, r = 0,74. …

9 hypothesis-testing correlation statistical-significance missing-data

3

Bestimmung der statistischen Signifikanz des linearen Regressionskoeffizienten bei Vorhandensein von Multikollinearität

Angenommen, ich habe eine Reihe von Städten mit unterschiedlichen Bevölkerungsgrößen und wollte wissen, ob es eine positive lineare Beziehung zwischen der Anzahl der Spirituosengeschäfte in einer Stadt und der Anzahl der DUIs gibt. Wo ich anhand eines t-Tests des geschätzten Regressionskoeffizienten feststelle, ob diese Beziehung signifikant ist oder nicht. Jetzt …

9 regression multicollinearity

1

Wird Naive Bayes immer beliebter? Warum?

Dies ist das Google-Trends- Ergebnis für die Phrase "Naive Bayes" von Januar 2004 bis April 2017 ( Link ). Demnach liegt die Suchquote für "Naive Bayes" im April 2017 im gesamten Zeitraum um 25% über dem Maximum. Bedeutet dies, dass diese einfache und alte Methode mehr Aufmerksamkeit erhält? Warum? Eine …

9 naive-bayes trend

2

Bias-Varianz-Zerlegung: Begriff für den erwarteten quadratischen Prognosefehler abzüglich des nicht reduzierbaren Fehlers

Hastie et al. "Die Elemente des statistischen Lernens" (2009) betrachten einen Datenerzeugungsprozess mit und .Y=f(X)+εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} Sie zeigen die folgende Bias-Varianz-Zerlegung des erwarteten quadratischen Prognosefehlers am Punkt (S. 223, Formel 7.9): In my eigene Arbeit Ich gebe nicht sondern nehme stattdessen eine willkürliche Prognose (falls …

9 variance forecasting prediction terminology bias

6

Verwenden des p-Werts zur Berechnung der Wahrscheinlichkeit, dass die Hypothese wahr ist; Was wird noch benötigt?

Frage: Ein häufiges Missverständnis von p-Werten besteht darin, dass sie die Wahrscheinlichkeit darstellen, dass die Nullhypothese wahr ist. Ich weiß, dass dies nicht korrekt ist, und ich weiß, dass p-Werte nur die Wahrscheinlichkeit darstellen, eine so extreme Stichprobe zu finden, da die Nullhypothese wahr ist. Intuitiv sollte man jedoch in …

9 hypothesis-testing bayesian p-value frequentist

2

Beruht die Verwendung der Standardabweichung auf der Annahme einer Normalverteilung?

Ich frage mich, ob die Standardabweichung immer unter der Annahme einer Normalverteilung erstellt wurde. Mit anderen Worten, wenn die Stichprobe nicht normal verteilt ist, sollte die Verwendung der Standardabweichung dann als Fehler angesehen werden?

9 normal-distribution standard-deviation

3

PCA zu langsam, wenn beide n, p groß sind: Alternativen?

Problemeinrichtung Ich habe Datenpunkte (Bilder) mit hoher Dimension (4096), die ich in 2D visualisieren möchte. Zu diesem Zweck verwende ich t-sne auf ähnliche Weise wie der folgende Beispielcode von Karpathy . In der Scikit-Learn-Dokumentation wird empfohlen, PCA zu verwenden, um zunächst die Dimension der Daten zu verringern : Es wird …

9 pca dimensionality-reduction high-dimensional java tsne

1

Was ist die praktische Bedeutung von Alpha in einem GLM mit Gammafamilie?

Ich passe mehrere Modelle der Form an .. glm(DV ~ I(1/IV), family = Gamma(link = "log") .. und suche nach Möglichkeiten, die für verschiedene Variablen erhaltenen Modelle zu vergleichen. Ich frage mich, ob der Alpha-Wert von praktischem Nutzen ist. Für die drei Diagramme unten betragen die Alpha-Werte 17,85, 9,03 und …

9 generalized-linear-model gamma-distribution

1

Wie können Prozentsätze möglich sein, die nicht hundert ergeben?

Ich habe dieses Papier über Aquaponik gelesen und einige der Statistiken waren in Bezug auf die aufgeführten Prozentsätze nicht sinnvoll. Mit welcher Methode könnten diese Prozente existieren? Die prozentual am häufigsten gezüchteten Wassertiere waren Tilapia (69%), Zierfische (43%), Wels (25%), andere Wassertiere (18%), Barsche (16%), Bluegill (15%), Forellen ( 10%) …

9 percentage

1

Normalverteilte Fehler und der zentrale Grenzwertsatz

In Wooldridges Introductory Econometrics gibt es ein Zitat: Das Argument, das die Normalverteilung für die Fehler rechtfertigt, lautet normalerweise ungefähr so: Da die Summe vieler verschiedener unbeobachteter Faktoren ist, die , können wir den zentralen Grenzwertsatz aufrufen, um zu schließen, dass u eine ungefähre Normalverteilung hat.uuuyyyuuu Dieses Zitat bezieht sich …

9 self-study linear-model econometrics normality-assumption central-limit-theorem

4

Wie interpretiere ich eine Überlebenskurve des Cox-Hazard-Modells?

Wie interpretieren Sie eine Überlebenskurve aus dem Cox-Proportional-Hazard-Modell? Nehmen wir in diesem Spielzeugbeispiel an, wir haben ein Cox-Proportional-Hazard-Modell für ageVariablen in kidneyDaten und generieren die Überlebenskurve. library(survival) fit <- coxph(Surv(time, status)~age, data=kidney) plot(conf.int="none", survfit(fit)) grid() Welche Aussage ist zum Zeitpunkt zum Beispiel wahr? oder sind beide falsch?200200200 Statement 1: Wir …

9 r survival cox-model likelihood machine-learning deep-learning generative-models machine-learning reinforcement-learning q-learning regression multicollinearity convergence beta-distribution bernoulli-distribution machine-learning self-study pattern-recognition neural-networks stochastic-processes linear