Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

1
Wie werden die Daten mithilfe der Hauptkomponentenanalyse aufgehellt?
Ich möchte meine Daten so transformieren, dass die Varianzen eins und die Kovarianzen null sind (dh ich möchte die Daten aufhellen). Außerdem sollte das Mittel Null sein.XX\mathbf X Ich weiß, dass ich durch Z-Standardisierung und PCA-Transformation dorthin komme, aber in welcher Reihenfolge sollte ich sie durchführen? Ich sollte hinzufügen, dass …
4
Training eines Hidden-Markov-Modells, mehrere Trainingsinstanzen
Ich habe ein diskretes HMM gemäß diesem Tutorial implementiert: http://cs229.stanford.edu/section/cs229-hmm.pdf In diesem und anderen Tutorials wird immer davon gesprochen, ein HMM mit einer bestimmten Beobachtungssequenz zu trainieren. Was passiert, wenn ich mehrere Trainingssequenzen habe? Soll ich sie einfach nacheinander ausführen und das Modell nach dem anderen trainieren? Eine andere Möglichkeit …
1
Quadrat der Normalverteilung mit spezifischer Varianz
Was ist die Verteilung des Quadrats einer normalverteilte Zufallsvariable X2X2X^2 mit X∼ N( 0 , σ2/ 4)X∼N(0,σ2/4)X\sim N(0,\sigma^2/4) ? Ich weiß, dass χ2( 1 ) = Z2χ2(1)=Z2\chi^2(1)=Z^2 ein gültiges Argument für die Quadratur einer Standardnormalverteilung ist, aber wie steht es mit dem Fall der nichteinheitlichen Varianz?
1
Was genau heißt in PCA „Hauptkomponente“?
Angenommen, ist der Vektor, der die Varianz der Projektion der Daten mit der Entwurfsmatrix maximiert .XuuuXXX Nun habe ich Materialien gesehen, die als (ersten) Hauptbestandteil der Daten bezeichnen, der auch der Eigenvektor mit dem größten Eigenwert ist.uuu Ich habe jedoch auch gesehen, dass die Hauptkomponente der Daten .XuXuX u Offensichtlich …
2
Warum ist die Optimierung einer Gaußschen Mischung direkt rechnerisch schwierig?
Betrachten Sie die logarithmische Wahrscheinlichkeit einer Mischung von Gaußschen: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Ich habe mich gefragt, warum es rechenintensiv ist, diese Gleichung direkt zu maximieren. Ich suchte entweder nach einer klaren, soliden Vorstellung, warum es offensichtlich sein sollte, dass es schwierig ist, oder nach …
9
Eine Galerie mit Diagrammen, Diagrammen und Diagrammtypen
Was würden Sie als umfassende Galerie von Datenpräsentationstechniken empfehlen? Eine Quelle, auf die Sie verweisen können, wenn Sie über bessere Darstellungsweisen für Ihre Daten nachdenken? Ich habe die folgenden identifiziert, würde mich aber freuen, wenn Sie Ihre hinzufügen könnten: Online-Galerien: http://www.mathworks.com/discovery/gallery.html http://www.idlcoyote.com/gallery/ https://developers.google.com/chart/interactive/docs/gallery?csw=1 http://www.walkingrandomly.com/?p=4788 http://en.wikipedia.org/wiki/Category:Statistical_charts_and_diagrams (bietet keine einseitige Grafikgalerie) http://docs.ggplot2.org/current/ …
3
Wie man die Standardfehler der Koeffizienten einer logistischen Regression berechnet
Ich benutze Pythons Scikit-Learn, um eine logistische Regression zu trainieren und zu testen. scikit-learn gibt die Regressionskoeffizienten der unabhängigen Variablen zurück, liefert jedoch nicht die Standardfehler der Koeffizienten. Ich benötige diese Standardfehler, um eine Wald-Statistik für jeden Koeffizienten zu berechnen und diese Koeffizienten miteinander zu vergleichen. Ich habe eine Beschreibung …
1
Wie hängt MANOVA mit LDA zusammen?
An mehreren Stellen sah ich die Behauptung, dass MANOVA wie ANOVA plus lineare Diskriminanzanalyse (LDA) ist, aber es wurde immer auf eine Art von Handbewegung gemacht. Ich würde gerne wissen, was es genau bedeuten soll. Ich habe verschiedene Lehrbücher gefunden, die alle Details von MANOVA-Berechnungen beschreiben, aber es scheint sehr …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.