Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

3
Welche Algorithmen erfordern eine One-Hot-Codierung?
Ich bin mir nie sicher, wann ich eine One-Hot-Codierung für nicht geordnete kategoriale Variablen verwenden soll und wann nicht. Ich benutze es immer dann, wenn der Algorithmus eine Distanzmetrik verwendet, um Ähnlichkeit zu berechnen. Kann jemand eine allgemeine Faustregel geben, welche Arten von Algorithmen erfordern würden, dass nicht geordnete kategoriale …
1
Variationsinferenz, KL-Divergenz erfordert wahres
Nach meinem (sehr bescheidenen) Verständnis der Variationsinferenz versucht man, eine unbekannte Verteilung zu approximieren, pppindem man eine Verteilung qqq , die Folgendes optimiert: KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Immer wenn ich Zeit in das Verständnis von Variationsinferenzen investiere, treffe ich diese Formel und kann nicht anders, als das …
3
Motivierende Sigmoid-Ausgabeeinheiten in neuronalen Netzen, beginnend mit nicht normalisierten logarithmischen Wahrscheinlichkeiten, linear in
Hintergrund: Ich studiere Kapitel 6 von Deep Learning von Ian Goodfellow und Yoshua Bengio und Aaron Courville. In Abschnitt 6.2.2.2 (Seiten 182 von 183, die hier eingesehen werden können ) wird die Verwendung von Sigmoid zur Ausgabe von P(y=1|x)P(y=1|x)P(y=1|x) motiviert. Um einen Teil des Materials zusammenzufassen, lassen sie z=wTh+bz=wTh+bz = …
3
Gibt es ein ernstes Problem beim Löschen von Beobachtungen mit fehlenden Werten bei der Berechnung der Korrelationsmatrix?
Ich habe diesen riesigen Datensatz mit ungefähr 2500 Variablen und ungefähr 142 Beobachtungen. Ich möchte eine Korrelation zwischen Variable X und dem Rest der Variablen ausführen. Bei vielen Spalten fehlen jedoch Einträge. Ich habe versucht, dies in R mit dem Argument "pairwise-complete" ( use=pairwise.complete.obs) zu tun, und es wurden eine …
2
Mathematische Intuition der Bias-Varianz-Gleichung
Ich habe kürzlich eine Frage gestellt, die nach einer mathematischen Interpretation / Intuition hinter der Elementargleichung für Stichprobenmittelwert und Varianz sucht: , geometrisch oder auf andere Weise.E[X2]=Var(X)+(E[X])2E[X2]=Var(X)+(E[X])2 E[X^2] = Var(X) +(E[X])^2 Aber jetzt bin ich neugierig auf die oberflächlich ähnliche Bias-Varianz-Kompromissgleichung. (Formeln ausWikipedia)MSE(θ^)=E[(θ^−θ)2]==E[(θ^−E[θ^])2]+(E[θ^]−θ)2Var(θ^)+Bias(θ^,θ)2MSE(θ^)=E[(θ^−θ)2]=E[(θ^−E[θ^])2]+(E[θ^]−θ)2=Var(θ^)+Bias(θ^,θ)2 \begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& …
12 variance  bias 
4
Sind Upsampling und Transponierungsfaltung in CNN gleich?
Sowohl die Begriffe "Upsampling" als auch "Transponierungsfaltung" werden verwendet, wenn Sie "Entfaltung" durchführen (<- kein guter Begriff, aber lassen Sie mich ihn hier verwenden). Ursprünglich dachte ich, dass sie dasselbe bedeuten, aber es scheint mir, dass sie sich unterscheiden, nachdem ich diese Artikel gelesen habe. kann jemand bitte klarstellen? Transponieren …
3
Wie implementiere ich ein gemischtes Modell mit der Betareg-Funktion in R?
Ich habe einen Datensatz, der aus Proportionen besteht, die das "Aktivitätsniveau" einzelner Kaulquappen messen, wodurch die Werte zwischen 0 und 1 gebunden werden. Diese Daten wurden gesammelt, indem gezählt wurde, wie oft sich die Person innerhalb eines bestimmten Zeitintervalls bewegt hat (1 für Bewegung, 1). 0 für keine Bewegung) und …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.