Statistiken und Big Data

4

Die erwartete Anzahl von Würfeln erfordert eine Summe größer oder gleich K?

Ein 6-seitiger Würfel wird iterativ gewürfelt. Was ist die erwartete Anzahl von Rollen, die erforderlich sind, um eine Summe größer oder gleich K zu machen? Vor dem Bearbeiten P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 P(Sum>=3 in …

9 self-study mean expected-value dice saddlepoint-approximation

2

Wie kann der kWh-Verbrauch pro Jahr gegen die Durchschnittstemperatur dargestellt werden?

Nur zum Spaß möchte ich meinen monatlichen Stromverbrauch im Haushalt Jahr für Jahr aufzeichnen. Ich möchte jedoch einen Verweis auf die monatliche Temperatur aufnehmen, damit ich feststellen kann, ob sich mein Zuhause oder mein Verhalten in Bezug auf den kWh-Verbrauch verbessert, verschlechtert oder stabil bleibt. Die Daten, mit denen ich …

9 data-visualization

1

LASSO für erklärende Modelle: verkleinerte Parameter oder nicht?

Ich führe eine Analyse durch, bei der das Hauptziel darin besteht, die Daten zu verstehen. Der Datensatz ist groß genug für eine Kreuzvalidierung (10 KB), und Prädiktoren enthalten sowohl kontinuierliche als auch Dummy-Variablen, und das Ergebnis ist kontinuierlich. Hauptziel war es zu sehen, ob es sinnvoll ist, einige Prädiktoren auszuschalten, …

9 lasso explanatory-models

2

Schlussfolgerungen aus der Ausgabe einer Hauptkomponentenanalyse

Ich versuche, die Ausgabe der Hauptkomponentenanalyse wie folgt zu verstehen: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 5.4 3.9 …

9 r pca interpretation

2

Ist OLS unter Heteroskedastizität asymptotisch effizient?

Ich weiß, dass OLS unvoreingenommen, aber unter Heteroskedastizität in einer linearen Regressionsumgebung nicht effizient ist. In Wikipedia http://en.wikipedia.org/wiki/Minimum_mean_square_error Der MMSE-Schätzer ist asymptotisch unvoreingenommen und konvergiert in der Verteilung zur Normalverteilung: , wobei I (x) die Fisher-Information von x ist. Somit ist der MMSE-Schätzer asymptotisch effizient.n−−√(x^−x)→dN(0,I−1(x))n(x^−x)→dN(0,I−1(x))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , …

9 least-squares heteroscedasticity efficiency

1

MCMC / EM-Einschränkungen? MCMC über EM?

Ich lerne derzeit hierarchische Bayes'sche Modelle mit JAGS von R und Pymc mit Python ( "Bayes'sche Methoden für Hacker" ). Ich kann mir einen Eindruck von diesem Beitrag verschaffen : "Sie werden am Ende einen Haufen Zahlen haben, der aussieht", als ob "Sie es irgendwie geschafft hätten, unabhängige Proben aus …

9 bayesian mcmc expectation-maximization

1

Wie erzeugt man gleichmäßig zufällige orthogonale Matrizen mit positiver Determinante?

Ich habe wahrscheinlich eine dumme Frage, über die ich, muss ich gestehen, verwirrt bin. Stellen Sie sich die wiederholte Erzeugung einer gleichmäßig verteilten zufälligen orthogonalen (orthonormalen) Matrix mit einer Größe . Manchmal hat die erzeugte Matrix die Determinante und manchmal die Determinante . (Es gibt nur zwei mögliche Werte. Unter …

9 mathematical-statistics matrix random-generation rotation determinant

2

Zitat für statistischen Test auf Differenz zwischen zwei Quotenverhältnissen?

In einem Kommentar hier schrieb @gung, Ich glaube, sie können sich ein wenig überlappen (vielleicht ~ 25%) und sind bei 5% immer noch signifikant. Denken Sie daran, dass der 95% CI, den Sie sehen, für den einzelnen OP gilt, aber beim Test von 2 OPs geht es um den Unterschied …

9 logistic confidence-interval odds-ratio references

1

Schätzt der EM-Algorithmus die Parameter im Gaußschen Mischungsmodell konsistent?

Ich studiere das Gaußsche Mischungsmodell und stelle mir diese Frage selbst. Angenommen, die zugrunde liegenden Daten werden aus einer Mischung der Gaußschen Verteilung erzeugt und jeder von ihnen hat einen mittleren Vektor , wobei und jeder von ihnen die gleiche Ko- hat Varianzmatrix und nehmen an, dass diese eine Diagonalmatrix …

9 self-study expectation-maximization gaussian-mixture consistency

6

Was sind gute Beispiele für Studenten?

Ich werde in der zweiten Hälfte dieses Semesters Statistik als Lehrassistent für CS-orientierte Studenten unterrichten. Die meisten Schüler, die an der Klasse teilgenommen haben, haben keinen Anreiz, das Fach zu lernen, und haben es nur für wichtige Anforderungen genommen. Ich möchte das Thema interessant und nützlich machen, nicht nur eine …

9 hypothesis-testing confidence-interval teaching

2

Regressionsergebnisse haben eine unerwartete Obergrenze

Ich versuche, einen Balance Score vorherzusagen und habe verschiedene Regressionsmethoden ausprobiert. Eine Sache, die mir aufgefallen ist, ist, dass die vorhergesagten Werte eine Art Obergrenze zu haben scheinen. Das heißt, der tatsächliche Saldo liegt bei , aber meine Vorhersagen liegen bei etwa . Das folgende Diagramm zeigt das tatsächliche gegenüber …

9 regression distributions data-transformation prediction bounds

1

Wenn eine unabhängige Beta sind, ist show ebenfalls Beta

Hier ist ein Problem, das vor einigen Jahren in einer Semesterprüfung an unserer Universität aufgetreten ist und das ich nur schwer lösen kann. Wenn sind unabhängig Zufallsvariablen mit Dichten und jeweils dann zeigen , dass folgt .X1,X2X1,X2X_1,X_2ββ\betaβ(n1,n2)β(n1,n2)\beta(n_1,n_2)β(n1+12,n2)β(n1+12,n2)\beta(n_1+\dfrac{1}{2},n_2)X1X2−−−−−√X1X2\sqrt{X_1X_2}β(2n1,2n2)β(2n1,2n2)\beta(2n_1,2n_2) Ich habe die Jacobi-Methode verwendet, um zu erhalten, dass die Dichte von wie …

9 self-study random-variable beta-distribution distributions jacobian

2

Rezeptives Feld von Neuronen in LeNet

Ich versuche, die Rezeptionsfelder von CNN besser zu verstehen. Dazu möchte ich das Empfangsfeld jedes Neurons in LeNet berechnen. Für ein normales MLP ist es ziemlich einfach (siehe http://deeplearning.net/tutorial/lenet.html#sparse-connectivity ), aber es ist schwieriger, das Empfangsfeld eines Neurons in einer Schicht nach einer oder mehreren Faltungsschichten und zu berechnen Schichten …

9 deep-learning conv-neural-network

1

Was wäre ein Beispiel dafür, wenn L2 eine gute Verlustfunktion zur Berechnung eines posterioren Verlusts ist?

Der L2-Verlust ist zusammen mit dem L0- und L1-Verlust drei eine sehr häufige "Standard" -Verlustfunktion, die verwendet wird, wenn ein Posterior durch den minimalen posterioren erwarteten Verlust zusammengefasst wird. Ein Grund dafür ist vielleicht, dass sie relativ einfach zu berechnen sind (zumindest für 1d-Verteilungen), L0 ergibt den Modus, L1 im …

9 bayes teaching decision-theory loss-functions

1

Konvergenz aus dem EM-Algorithmus mit bivariater Mischungsverteilung

Ich habe ein Mischungsmodell, mit dem ich den Maximum-Likelihood-Schätzer für einen gegebenen Datensatz xxx und einen Satz teilweise beobachteter Daten finden möchte zzz. Ich habe sowohl den E-Schritt (Berechnung der Erwartung von zzz bei xxx und der aktuellen Parameter θkθk\theta^k ) als auch den M-Schritt implementiert , um die negative …

9 maximum-likelihood mixture expectation-maximization