Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Warum ist das Neyman-Pearson-Lemma ein Lemma und kein Theorem?
Dies ist eher eine Geschichtsfrage als eine technische Frage. Warum ist das Neyman-Pearson-Lemma ein Lemma und kein Theorem? Link zum Wiki: https://en.wikipedia.org/wiki/Neyman%E2%80%93Pearson_lemma NB : Die Frage betrifft nicht, was ein Lemma ist und wie Lemmas verwendet werden, um einen Satz zu beweisen, sondern die Geschichte des Neyman-Pearson-Lemmas. Wurde es verwendet, …

4
Ist „zufällige Projektion“ streng genommen keine Projektion?
Aktuelle Implementierungen des Zufallsprojektionsalgorithmus reduzieren die Dimensionalität von Datenproben, indem sie von R.dRd\mathbb R^d auf R.kRk\mathbb R^k Verwendung einer d× kd×kd\times k Projektionsmatrix R.RR abgebildet werden, deren Einträge aus einer geeigneten Verteilung stammen (zum Beispiel aus N.( 0 , 1 )N(0,1)\mathcal N(0,1) ): x′=1k√xRx′=1kxRx^\prime = \frac{1}{\sqrt k}xR Praktischerweise gibt es …

7
Vermeidung sozialer Diskriminierung beim Modellbau
Ich habe Fragen, die vom jüngsten Rekrutierungsskandal bei Amazon inspiriert wurden, bei dem ihnen die Diskriminierung von Frauen in ihrem Rekrutierungsprozess vorgeworfen wurde. Mehr Infos hier : Die Spezialisten für maschinelles Lernen von Amazon.com Inc haben ein großes Problem aufgedeckt: Ihre neue Rekrutierungs-Engine mochte keine Frauen. Das Team hatte seit …

2
Was ist jemals mit Fuzzy Logic passiert?
Fuzzy-Logik schien ein aktives Forschungsgebiet im Bereich maschinelles Lernen und Data Mining zu sein, als ich in der Graduiertenschule war (Anfang der 2000er Jahre). Fuzzy-Inferenzsysteme, Fuzzy-C-Mittel, Fuzzy-Versionen der verschiedenen neuronalen Netze und Support-Vektor-Maschinenarchitekturen wurden in Abschlusskursen unterrichtet und auf Konferenzen diskutiert. Seit ich wieder auf ML geachtet habe (~ 2013), …

3
Berechnung der p-Werte in einem beschränkten (nicht negativen) kleinsten Quadrat
Ich habe Matlab verwendet, um uneingeschränkte kleinste Quadrate (gewöhnliche kleinste Quadrate) auszuführen, und es gibt automatisch die Koeffizienten, die Teststatistik und die p-Werte aus. Meine Frage ist, dass beim Durchführen von eingeschränkten kleinsten Quadraten (streng nichtnegative Koeffizienten) nur die Koeffizienten OHNE Teststatistik und p-Werte ausgegeben werden. Ist es möglich, diese …


2
Angebotsverteilung für eine verallgemeinerte Normalverteilung
Ich modelliere die Ausbreitung von Pflanzen mithilfe einer verallgemeinerten Normalverteilung ( Wikipedia-Eintrag ), die die Wahrscheinlichkeitsdichtefunktion hat: b2aΓ(1/b)e−(da)bb2aΓ(1/b)e−(da)b \frac{b}{2a\Gamma(1/b)} e^{-(\frac{d}{a})^b} Dabei ist die zurückgelegte Strecke, ein Skalierungsparameter und der Formparameter. Die mittlere zurückgelegte Strecke ergibt sich aus der Standardabweichung dieser Verteilung:dddaaabbb a2Γ(3/b)Γ(1/b)−−−−−−−−√a2Γ(3/b)Γ(1/b) \sqrt{\frac{a^2 \Gamma(3/b)}{\Gamma(1/b)}} Dies ist praktisch, da es eine …

2
Warum werden potenzierte logistische Regressionskoeffizienten als „Odds Ratios“ betrachtet?
Die logistische Regression modelliert die logarithmischen Quoten eines Ereignisses als eine Reihe von Prädiktoren. Das heißt, log (p / (1-p)), wobei p die Wahrscheinlichkeit eines Ergebnisses ist. Daher muss die Interpretation der rohen logistischen Regressionskoeffizienten für eine Variable (x) auf der logarithmischen Quotenskala liegen. Das heißt, wenn der Koeffizient für …

1
Das Angelproblem
Angenommen, Sie möchten von 8 bis 20 Uhr am nahe gelegenen See angeln. Aufgrund von Überfischung wurde ein Gesetz eingeführt, das besagt, dass Sie nur einen Fisch pro Tag fangen dürfen. Wenn Sie einen Fisch fangen, können Sie ihn entweder behalten (und damit mit diesem Fisch nach Hause gehen) oder …

1
Was ist der Unterschied zwischen VAE und stochastischer Backpropagation für tiefe generative Modelle?
Was ist der Unterschied zwischen der automatischen Codierung von Variations-Bayes und der stochastischen Backpropagation für tiefe generative Modelle ? Führt die Schlussfolgerung bei beiden Methoden zu denselben Ergebnissen? Mir sind keine expliziten Vergleiche zwischen den beiden Methoden bekannt, obwohl sich beide Autorengruppen gegenseitig zitieren.

2
Erzeugen Sie ein gleichmäßiges Rauschen aus einer p-Norm-Kugel (
Ich versuche eine Funktion zu schreiben, die gleichmäßig verteiltes Rauschen erzeugt, das von einem p-Norm-Ball mit nnn Dimensionen stammt: ||x||p≤r||x||p≤r\begin{equation} ||x||_p \leq r \end{equation} Ich habe mögliche Lösungen für Kreise gefunden ( p=2p=2p = 2 ) ( http://mathworld.wolfram.com/DiskPointPicking.html ), aber ich habe Probleme, diese für verschiedene Werte von ppp . …
10 simulation  noise 


1
Über die Existenz von UMVUE und die Wahl der Schätzer von
Sei eine Zufallsstichprobe aus der N ( θ , θ 2 ) -Population, wobei θ ∈ R ist .(X1,X2,⋯,Xn)(X1,X2,⋯,Xn)(X_1,X_2,\cdots,X_n)N(θ,θ2)N(θ,θ2)\mathcal N(\theta,\theta^2)θ∈Rθ∈R\theta\in\mathbb R Ich suche den UMVUE von .θθ\theta Die Fugendichte von beträgt(X1,X2,⋯,Xn)(X1,X2,⋯,Xn)(X_1,X_2,\cdots,X_n) fθ(x1,x2,⋯,xn)=∏i=1n1θ2π−−√exp[−12θ2(xi−θ)2]=1(θ2π−−√)nexp[−12θ2∑i=1n(xi−θ)2]=1(θ2π−−√)nexp[1θ∑i=1nxi−12θ2∑i=1nx2i−n2]=g(θ,T(x))h(x)∀(x1,⋯,xn)∈Rn,∀θ∈Rfθ(x1,x2,⋯,xn)=∏i=1n1θ2πexp⁡[−12θ2(xi−θ)2]=1(θ2π)nexp⁡[−12θ2∑i=1n(xi−θ)2]=1(θ2π)nexp⁡[1θ∑i=1nxi−12θ2∑i=1nxi2−n2]=g(θ,T(x))h(x)∀(x1,⋯,xn)∈Rn,∀θ∈R\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align} wobei undh(x)=1.G( θ , T.( x ) ) …

2
Was ist mit "Lassen Sie die Daten für sich selbst sprechen" gemeint?
Beim Lesen des folgenden Papiers bin ich auf folgende Aussage gestoßen: Wie bereits erwähnt, wird es häufig ohne Bezugnahme auf probabilistische Modelle präsentiert, in Übereinstimmung mit Benzecris [1973] Idee, "die Daten für sich selbst sprechen zu lassen". (Zitat von JP Benzécri. L'analyse des données. Band II: L'analyse des korrespondenzen. Dunod, …
10 eda  quotation 

3
MAP ist eine Lösung für
Ich bin in einem der Online-Kurse auf diese Folien (Folie 16 und 17) gestoßen. Der Ausbilder versuchte zu erklären, wie die maximale posteriore Schätzung (MAP) tatsächlich die Lösung L(θ)=I[θ≠θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}] , wobei θ∗θ∗\theta^{*} der wahre Parameter ist. Kann jemand bitte erklären, wie das folgt? Bearbeiten: Folien hinzugefügt, …

Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.