Statistiken und Big Data

Ich bin nicht sicher, wo diese Frage hingehört: Cross Validated oder The Workplace. Aber meine Frage hängt vage mit der Statistik zusammen. Diese Frage (oder ich nehme an, Fragen) stellte sich während meiner Arbeit als "Praktikant im Bereich Data Science". Ich habe dieses lineare Regressionsmodell erstellt und die Restkurve untersucht. …

20 careers 

Ich lese über adaptive MCMC (siehe z. B. Kapitel 4 der Handbuchs von Markov Chain Monte Carlo , Herausgeber Brooks et al., 2011; und auch Andrieu & Thoms, 2008 ). nnnp ( n )p(n)p(n)limn→∞p(n)=0limn→∞p(n)=0\lim_{n \rightarrow \infty} p(n) = 0 Dieses Ergebnis ist (a posteriori) asymptotisch intuitiv. Da der Anpassungsgrad gegen …

20 simulation  mcmc  random-generation  metropolis-hastings 

In Anbetracht dieser Frage: Beweisen Sie, dass die Koeffizienten in einem OLS-Modell einer t-Verteilung mit (nk) Freiheitsgraden folgen Ich würde gerne verstehen warum F=(TSS−RSS)/(p−1)RSS/(n−p),F=(TSS−RSS)/(p−1)RSS/(n−p), F = \frac{(\text{TSS}-\text{RSS})/(p-1)}{\text{RSS}/(n-p)}, wobei ppp die Anzahl der Modellparameter und ist nnn die Anzahl der Beobachtungen und TSSTSSTSS die Gesamtvarianz, RSSRSSRSS die Residuenvarianz, ein folgt Fp−1,n−pFp−1,n−pF_{p-1,n-p} …

20 regression  hypothesis-testing  least-squares  f-distribution  f-statistic 

Ich habe Maraun et al . Gelesen, "Nichtstationäre Gauß-Prozesse im Wavelet-Bereich: Synthese, Abschätzung und signifikante Tests" (2007), die eine Klasse von nichtstationären GPs definieren, die durch Multiplikatoren im Wavelet-Bereich spezifiziert werden können. Eine Realisierung eines solchen GP ist: wobei weißes Rauschen ist, die kontinuierliche Wavelet-Transformation in Bezug auf Wavelet , …

20 normal-distribution  stochastic-processes  gaussian-process  fourier-transform  wavelet 

Ein Spieler erhält einen fairen sechsseitigen Würfel. Um zu gewinnen, muss sie eine Zahl größer als 4 würfeln (dh eine 5 oder eine 6). Wenn sie eine 4 würfelt, muss sie erneut würfeln. Was sind ihre Gewinnchancen? Ich denke, die Wahrscheinlichkeit, P(W)P(W)P(W) , kann rekursiv ausgedrückt werden als: P(W)=P(r=5∪r=6)+P(r=4)⋅P(W)P(W)=P(r=5∪r=6)+P(r=4)⋅P(W) P(W) …

20 probability 

Wenn bekannte Dichten sind, aus denen ich simulieren kann, dh für die ein Algorithmus verfügbar ist. und wenn das Produkt integrierbar ist, gibt es einen generischen Ansatz, um aus dieser Produktdichte unter Verwendung von zu simulieren Simulatoren aus dem 's?k ∏ i = 1 f i ( x ) α …

20 simulation  monte-carlo  geometric-mean  scalability  finite-mixture-model 

Ich habe verstanden, wie die Gratregression die Koeffizienten geometrisch gegen Null schrumpft. Außerdem weiß ich, wie man das im speziellen "Orthonormalen Fall" beweist, aber ich bin verwirrt, wie das im allgemeinen Fall über "Spektrale Zerlegung" funktioniert.

20 regression  multiple-regression  regularization  ridge-regression  svd 

Forschungsarbeiten zum maschinellen Lernen behandeln Lernen und Inferenz oft als zwei getrennte Aufgaben, aber es ist mir nicht ganz klar, worin der Unterschied besteht. In diesem Buch verwenden sie zum Beispiel Bayes-Statistiken für beide Arten von Aufgaben, liefern jedoch keine Motivation für diese Unterscheidung. Ich habe einige vage Ideen, worum …

20 machine-learning  terminology 

Ich kenne die Definition der symmetrischen positiv definierten (SPD) Matrix, möchte aber mehr verstehen. Warum sind sie intuitiv so wichtig? Hier ist was ich weiß. Was sonst? Für gegebene Daten ist die Kovarianzmatrix SPD. Die Kovarianzmatrix ist eine wichtige Metrik. Eine intuitive Erklärung finden Sie in diesem hervorragenden Beitrag . …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Ich benutze einen Klassifikator, der Wahrscheinlichkeiten zurückgibt. Zur Berechnung der AUC verwende ich das pROC R-Paket. Die Ausgabewahrscheinlichkeiten des Klassifikators sind: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probszeigt die Wahrscheinlichkeit, in der Klasse '1' zu sein. Wie gezeigt, hat der Klassifikator alle Proben in Klasse '1' …

20 machine-learning  auc 

Das sind keine Hausaufgaben. Ich bin daran interessiert zu verstehen, ob meine Logik bei diesem einfachen Statistikproblem richtig ist. Angenommen, ich habe eine 2-seitige Münze, bei der die Wahrscheinlichkeit, einen Kopf umzudrehen, und die Wahrscheinlichkeit, einen Schwanz umzudrehen, beträgt . Nehmen wir an, dass alle Flips unabhängige Wahrscheinlichkeiten haben. Nehmen …

20 probability 

Ich trainiere ein neuronales Netzwerk (Details nicht wichtig), bei dem die Zieldaten ein Winkelvektor sind (zwischen 0 und 2 * pi). Ich suche Rat, wie ich diese Daten verschlüsseln kann. Folgendes versuche ich derzeit (mit begrenztem Erfolg): 1) 1-von-C-Codierung: Ich bin die eingestellten möglichen Winkel in etwa 1000 diskrete Winkel …

20 neural-networks  circular-statistics 

Ich kann nicht genau sagen, um welche Art von Daten es sich handelt, da es sich um geschützte Daten handelt. Nehmen wir jedoch an, wir haben folgende Daten: Jeden Monat melden sich einige Personen für einen Dienst an. In jedem darauffolgenden Monat können diese Personen den Service aktualisieren, den Service …

20 panel-data  splines  mars 

Seit meiner ersten Wahrscheinlichkeitsklasse habe ich mich über Folgendes gewundert. Die Berechnung der Wahrscheinlichkeiten erfolgt in der Regel über das Verhältnis der "favorisierten Ereignisse" zu den insgesamt möglichen Ereignissen. Beim Würfeln von zwei 6-seitigen Würfeln beträgt die Anzahl der möglichen Ereignisse 363636 , wie in der folgenden Tabelle dargestellt. 1234561(1,1)(2,1)(3,1)(4,1)(5,1)(6,1)2(1,2)(2,2)(3,2)(4,2)(5,2)(6,2)3(1,3)(2,3)(3,3)(4,3)(5,3)(6,3)4(1,4)(2,4)(3,4)(4,4)(5,4)(6,4)5(1,5)(2,5)(3,5)(4,5)(5,5)(6,5)6(1,6)(2,6)(3,6)(4,6)(5,6)(6,6)1234561(1,1)(1,2)(1,3)(1,4)(1,5)(1,6)2(2,1)(2,2)(2,3)(2,4)(2,5)(2,6)3(3,1)(3,2)(3,3)(3,4)(3,5)(3,6)4(4,1)(4,2)(4,3)(4,4)(4,5)(4,6)5(5,1)(5,2)(5,3)(5,4)(5,5)(5,6)6(6,1)(6,2)(6,3)(6,4)(6,5)(6,6)\begin{array} …

20 probability  dice 

Wir alle kennen die in der Literatur gut dokumentierte Vorstellung, dass die LASSO-Optimierung (der Einfachheit halber hier auf den Fall der linearen Regression beschränkt) ist äquivalent zu dem linearen Modell mit Gaußschen Fehlern, bei dem die Parameter mit dem Laplace-Prioritätswert sind. , je größer der Anteil der Parameter ist, desto …

20 lasso  laplace-distribution