Statistiken und Big Data

Fragen und Antworten für Personen, die sich für Statistik, maschinelles Lernen, Datenanalyse, Data Mining und Datenvisualisierung interessieren

2
Zeitverzerrungsschätzer der logarithmischen Normalverteilung
Ich mache ein numerisches Experiment, das darin besteht, eine logarithmische Normalverteilung und die Momente mit zwei Methoden zu schätzen :X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma)E [ Xn]E[Xn]\mathbb{E}[X^n] Betrachtet man den Stichprobenmittelwert von XnXnX^n Schätzen von μμ\mu und σ2σ2\sigma^2 unter Verwendung der Beispielmittel für Log( X) , log2( X)Log⁡(X),Log2⁡(X)\log(X), \log^2(X) und dann unter Verwendung der …
1
Hochmodernes Streaming-Lernen
Ich habe in letzter Zeit mit großen Datenmengen gearbeitet und viele Artikel über Streaming-Methoden gefunden. Um ein paar zu nennen: Follow-the-Regularized-Leader und Mirror-Descent: Äquivalenzsätze und L1-Regularisierung ( http://jmlr.org/proceedings/papers/v15/mcmahan11b/mcmahan11b.pdf ) Gestreamtes Lernen: SVMs mit einem Durchgang ( http://www.umiacs.umd.edu/~hal/docs/daume09onepass.pdf ) Pegasos: Primal Estimated sub-GrAdient SOlver für SVM http://ttic.uchicago.edu/~nati/Publications/PegasosMPB.pdf oder hier: Kann SVM …
0
Jaynes '
In Jaynes 'Buch "Probability Theory: The Logic of Science" hat Jaynes ein Kapitel (Kapitel 18) mit dem Titel "The Distribution and Rule of Succession", in dem er die Idee der Verteilungen vorstellt.A pEINpEINpA_pEINpEINpA_p [...] Um dies zu sehen, stellen Sie sich den Effekt des Erhaltens neuer Informationen vor. Angenommen, wir …
5
Maximum Likelihood Estimation - Warum wird es verwendet, obwohl es in vielen Fällen voreingenommen ist?
Die Maximum-Likelihood-Schätzung führt häufig zu verzerrten Schätzern (z. B. ist ihre Schätzung für die Stichprobenvarianz für die Gauß-Verteilung verzerrt). Was macht es dann so beliebt? Warum genau wird es so oft verwendet? Was macht es besonders besser als die alternative Methode der Momente? Außerdem ist mir aufgefallen, dass eine einfache …
2
Diagnose für verallgemeinerte lineare (gemischte) Modelle (speziell Residuen)
Derzeit habe ich Probleme, das richtige Modell für schwierige Zähldaten (abhängige Variable) zu finden. Ich habe verschiedene Modelle ausprobiert (für meine Art von Daten sind Modelle mit gemischten Effekten erforderlich), z. B. lmerundlme4 (mit einer logarithmischen Transformation), sowie verallgemeinerte lineare Modelle mit gemischten Effekten mit verschiedenen Familien, z. B. Gaußscher …
4
Visualisierung vieler Variablen in einem Plot
Ich möchte zeigen, wie sich die Werte bestimmter Variablen (~ 15) im Laufe der Zeit ändern, aber ich möchte auch zeigen, wie sich die Variablen in jedem Jahr voneinander unterscheiden. Also habe ich diese Handlung erstellt: Aber selbst wenn Sie das Farbschema ändern oder verschiedene Linien- / Formtypen hinzufügen, sieht …
5
Wie können Hauptkomponenten die Vorhersagekraft einer abhängigen Variablen beibehalten (oder sogar zu besseren Vorhersagen führen)?
Angenommen, ich führe eine Regression . Warum behält das Modell durch Auswahl der Top- Hauptkomponenten von seine Vorhersagekraft für ?Y.∼ XY.∼XY \sim XkkkXXXY.Y.Y Ich verstehe, dass aus Sicht der Dimensionsreduktion / Merkmalsauswahl, wenn die Eigenvektoren der Kovarianzmatrix von mit den höchsten Eigenwerten sind, die höchsten Hauptkomponenten sind mit maximalen Abweichungen. …
3
Interpretation der Gratregulierung in der Regression
Ich habe verschiedene Fragen bezüglich der First Penalty im Rahmen der kleinsten Fehlerquadrate: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Der Ausdruck legt nahe, dass die Kovarianzmatrix von X zu einer Diagonalmatrix geschrumpft ist, was bedeutet, dass (unter der Annahme, dass die Variablen vor der Prozedur standardisiert wurden) die Korrelation …
2
Ist es sinnvoll, PCA und LDA zu kombinieren?
Angenommen, ich habe einen Datensatz für eine überwachte statistische Klassifizierungsaufgabe, z. B. über einen Bayes-Klassifizierer. Dieser Datensatz besteht aus 20 Merkmalen, und ich möchte ihn mithilfe von Dimensionalitätsreduktionstechniken wie der Hauptkomponentenanalyse (PCA) und / oder der linearen Diskriminanzanalyse (LDA) auf zwei Merkmale reduzieren. Beide Techniken projizieren die Daten auf einen …
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.