Statistiken und Big Data

3

Visualisieren Sie die bivariate Binomialverteilung

Frage: Wie sieht eine bivariate Binomialverteilung im dreidimensionalen Raum aus? Unten ist die spezifische Funktion, die ich für verschiedene Werte der Parameter visualisieren möchte; nämlich , p 1 und p 2 .nnnp1p1p_{1}p2p2p_{2} f(x1,x2)=n!x1!x2!px11px22,x1+x2=n,p1+p2=1.f(x1,x2)=n!x1!x2!p1x1p2x2,x1+x2=n,p1+p2=1.f(x_{1},x_{2}) = \frac{n!}{x_{1}!x_{2}!}p_{1}^{x_{1}}p_{2}^{x_{2}}, \qquad x_{1}+x_{2}=n, \quad p_{1}+p_{2}=1. Beachten Sie, dass es zwei Einschränkungen gibt. und p 1 + …

11 probability data-visualization binomial discrete-data distributions

3

Warum wird der Bias-Term in SVM anstelle einer zusätzlichen Dimension im Merkmalsvektor separat geschätzt?

Die optimale Hyperebene in SVM ist definiert als: w⋅x+b=0,w⋅x+b=0,\mathbf w \cdot \mathbf x+b=0, wobei den Schwellenwert darstellt. Wenn wir eine Abbildung ϕ haben, die den Eingaberaum auf einen Raum Z abbildet , können wir SVM in dem Raum Z definieren , in dem die optimale Hiperplane ist:bbbϕϕ\mathbf \phiZZZZZZ w⋅ϕ(x)+b=0.w⋅ϕ(x)+b=0.\mathbf w …

11 svm threshold

2

Wahrscheinlichkeit, dass die Anordnung des geheimen Weihnachtsmanns zu perfekten Paarungen führt

Also hatten wir Secret Santa bei der Arbeit. Wir sind 8 Leute. Wir wechselten uns ab und zogen ein kleines Stück Papier aus einer Schüssel mit einem Namen darauf. Einzige Regel: Wenn Sie Ihren Namen ziehen, müssen Sie das Stück Papier wieder in die Schüssel legen und es erneut versuchen. …

11 combinatorics odds

3

Sind Interaktionen nur im Kontext der Regression nützlich?

Ich habe den Begriff Interaktion immer im Kontext der Regression gelesen. Sollten wir auch Interaktionen mit verschiedenen Modellen berücksichtigen, z. B. knn oder svm? Wenn es , 100 oder noch mehr Funktionen gibt und sagen wir 1000 Beobachtungen, was ist der übliche Weg, um nützliche Interaktionen zu finden? Alle Kombinationen …

11 machine-learning interaction terminology

4

Warum sind Dispersionsmaßnahmen weniger intuitiv als Zentralität?

Es scheint etwas in unserem menschlichen Verständnis zu geben, das es schwierig macht, die Idee der Varianz intuitiv zu erfassen. Im engeren Sinne ist die Antwort unmittelbar: Das Quadrieren wirft uns von unserem reflexiven Verständnis ab. Aber ist es nur die Varianz , die Probleme aufwirft, oder ist es die …

11 variance dispersion

3

Verständnis des Beta-Konjugats vor der Bayes'schen Folgerung über eine Frequenz

Es folgt ein Auszug aus Bolstads Einführung in die Bayes'sche Statistik . Für alle Experten da draußen mag dies trivial sein, aber ich verstehe nicht, wie der Autor zu dem Schluss kommt, dass wir keine Integration durchführen müssen, um die hintere Wahrscheinlichkeit für einen Wert von zu berechnen ππ\pi. Ich …

11 distributions bayesian beta-distribution conjugate-prior

1

Annähern

Ich las beiläufig einen Artikel (in Wirtschaftswissenschaften), der die folgende Annäherung für :Log( E.( X.) )Log⁡(E.(X.))\log(E(X)) ,Log( E.( X.) ) ≈ E.( log( X.) ) + 0,5 v a r ( log( X.) )Log⁡(E.(X.))≈E.(Log⁡(X.))+0,5veinr(Log⁡(X.))\log(E(X)) \approx E(\log(X))+0.5 \mathrm{var}(\log(X)) Was der Autor sagt, ist genau, wenn X logarithmisch normal ist (was ich …

11 lognormal approximation taylor-series

2

Warum kann die Ridge-Regression keine bessere Interpretierbarkeit bieten als LASSO?

Ich habe bereits eine Vorstellung von den Vor- und Nachteilen der Gratregression und des LASSO. Für das LASSO ergibt der L1-Strafausdruck einen Vektor mit geringem Koeffizienten, der als Merkmalsauswahlmethode angesehen werden kann. Es gibt jedoch einige Einschränkungen für den LASSO. Wenn die Merkmale eine hohe Korrelation aufweisen, wählt der LASSO …

11 feature-selection lasso regularization ridge-regression elastic-net

2

Latin Hypercube Sampling Asymptotics

Ich versuche, einen Beweis für ein Problem zu erstellen, an dem ich arbeite, und eine der Annahmen, die ich mache, ist, dass die Menge der Punkte, von denen ich Stichproben mache, über den gesamten Raum dicht ist. Praktisch verwende ich Latin Hypercube Sampling, um meine Punkte über den gesamten Probenraum …

11 sampling asymptotics latin-square latin-hypercube

2

Erfolg von Bernoulli-Studien mit unterschiedlichen Wahrscheinlichkeiten

Wenn 20 unabhängige Bernoulli-Versuche mit jeweils unterschiedlicher Erfolgswahrscheinlichkeit und damit Misserfolg durchgeführt werden. Wie hoch ist die Wahrscheinlichkeit, dass genau n der 20 Studien erfolgreich waren? Gibt es eine bessere Möglichkeit, diese Wahrscheinlichkeiten zu berechnen, als einfach die Kombinationen von Erfolgs- und Misserfolgswahrscheinlichkeiten zusammenzufassen?

11 probability distributions bernoulli-distribution poisson-binomial

3

Ressourcen zum Erlernen von Techniken mit mehreren Zielen?

Ich suche nach Ressourcen (Bücher, Vorlesungsunterlagen usw.) über Techniken, die Daten verarbeiten können, die mehrere Ziele haben (Beispiel: drei abhängige Variablen: 2 diskrete und 1 kontinuierliche). Hat jemand irgendwelche Ressourcen / Kenntnisse dazu? Ich weiß, dass es dafür möglich ist, neuronale Netze zu verwenden.

11 regression machine-learning predictive-models references

3

Darstellen von Ergebnissen mit nur Mittelwert und Standardabweichung

Ich versuche, ein geeignetes Diagramm für die Beobachtungen in dieser Tabelle der Mittelwerte und Standardabweichungen der Rückrufwerte zu visualisieren: ErinnernSteuerungBedeuten37SD8ExperimentalBedeuten21SD6SteuerungExperimentalBedeutenSDBedeutenSDErinnern378216\begin{array} {c|c c|c c|} & \text{Control} & & \text{Experimental} & \\ & \text{Mean} & \text{SD} &\text{Mean} &\text{SD} \\ \hline \text{Recall} & 37 & 8 & 21 & 6 \\ \hline \end{array} …

11 data-visualization standard-deviation mean descriptive-statistics barplot

2

Zwei Definitionen des p-Wertes: Wie kann man ihre Äquivalenz beweisen?

Ich lese in Larry Wassermans Buch All of Statistics und derzeit über p-Werte (Seite 187). Lassen Sie mich zunächst einige Definitionen einführen (ich zitiere): Definition 1 Die Leistungsfunktion eines Tests mit Verwerfungsbereich RRR ist definiert durch β(θ)=Pθ(X∈R)β(θ)=Pθ(X∈R)\beta(\theta)=P_{\theta}(X\in R) Die Größe eines Tests definiert werden soll α=supθ∈Θ0β(θ)α=supθ∈Θ0β(θ)\alpha = \sup_{\theta\in\Theta_0}\beta(\theta) Ein Test …

11 hypothesis-testing mathematical-statistics p-value

3

Ist es immer besser, mehr Faktoren zu extrahieren, wenn sie existieren?

Im Gegensatz zur Hauptkomponentenanalyse sind die Lösungen für Faktoranalysemodelle nicht unbedingt verschachtelt. Das heißt, die Belastungen (zum Beispiel) für den ersten Faktor sind nicht unbedingt identisch, wenn nur der erste Faktor extrahiert wird, im Vergleich zu den ersten beiden Faktoren. Stellen Sie sich vor diesem Hintergrund einen Fall vor, in …

11 references factor-analysis psychometrics

1

Auswahl des Bereichs und der Gitterdichte für den Regularisierungsparameter in LASSO

In der Zwischenzeit studiere ich LASSO (Operator für geringste absolute Schrumpfung und Auswahl). Ich sehe, dass der optimale Wert für den Regularisierungsparameter durch Kreuzvalidierung ausgewählt werden kann. Ich sehe auch in der Gratregression und vielen Methoden, die Regularisierung anwenden, dass wir CV verwenden können, um den optimalen Regularisierungsparameter zu finden …

11 lasso regularization shrinkage