Statistiken und Big Data

10

Gibt es eine * mathematische * Grundlage für die Debatte zwischen Bayesian und Frequentist?

Auf Wikipedia heißt es: Die Mathematik [der Wahrscheinlichkeit] ist weitgehend unabhängig von jeder Interpretation der Wahrscheinlichkeit. Frage: Sollten wir dann, wenn wir mathematisch korrekt sein wollen, keine Interpretation der Wahrscheinlichkeit zulassen ? Sind also sowohl Bayesian als auch Frequentismus mathematisch inkorrekt? Ich mag Philosophie nicht, aber ich mag Mathematik, und …

67 probability bayesian frequentist philosophical kolmogorov-axioms

2

Welche Beziehung besteht zwischen der Analyse unabhängiger Komponenten und der Faktoranalyse?

Ich bin neu in der Independent Component Analysis (ICA) und verstehe die Methode nur ansatzweise. Es scheint mir, dass ICA der Faktoranalyse (FA) mit einer Ausnahme ähnlich ist: ICA geht davon aus, dass die beobachteten Zufallsvariablen eine lineare Kombination unabhängiger Komponenten / Faktoren sind, die nicht-gaußsch sind, während das klassische …

67 multivariate-analysis factor-analysis ica

3

Richtige Methode zur Verwendung eines wiederkehrenden neuronalen Netzwerks für die Zeitreihenanalyse

Rekurrente neuronale Netze unterscheiden sich von "regulären" dadurch, dass sie eine "Gedächtnis" -Schicht haben. Aufgrund dieser Schicht sollten wiederkehrende NNs bei der Zeitreihenmodellierung nützlich sein. Ich bin mir jedoch nicht sicher, ob ich richtig verstehe, wie man sie benutzt. Angenommen, ich habe die folgenden Zeitreihen (von links nach rechts): [0, …

67 time-series machine-learning neural-networks

6

Wahrscheinlichkeitskonvergenz vs. fast sichere Konvergenz

Ich habe den Unterschied zwischen diesen beiden Konvergenzmaßen noch nie richtig herausgefunden. (Oder in der Tat eine der verschiedenen Arten der Konvergenz, aber ich erwähne diese beiden besonders wegen der schwachen und starken Gesetze für große Zahlen.) Klar, ich kann die Definition von jedem zitieren und ein Beispiel geben, wo …

67 probability random-variable

8

Was sind gute Basisstatistiken für Ordnungsdaten?

Ich habe einige ordinale Daten aus Umfragefragen erhalten. In meinem Fall handelt es sich um Likert- Antworten (stimme überhaupt nicht zu, stimme überhaupt nicht zu, sei neutral, stimme voll und ganz zu). In meinen Daten sind sie als 1-5 codiert. Ich glaube nicht, dass Mittel hier viel bedeuten würden. Welche …

67 descriptive-statistics likert ordinal-data

5

Wie genau stimmten Statistiker darin überein, (n-1) als unverzerrten Schätzer für die Populationsvarianz ohne Simulation zu verwenden?

Die Formel zur Berechnung der Varianz hat im Nenner :(n−1)(n−1)(n-1) s2=∑Ni=1(xi−x¯)2n−1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} Ich habe mich immer gefragt, warum. Das Lesen und Anschauen einiger guter Videos über das "Warum" von scheint jedoch ein guter unverzerrter Schätzer der Populationsvarianz zu sein. Während die Populationsvarianz unterschätzt und überschätzt.n ( …

67 variance unbiased-estimator proof history

1

Wann sollte ein Offset in einer Poisson-Regression verwendet werden?

Weiß jemand, warum Offset in einer Poisson-Regression verwendet wird? Was erreichen Sie damit?

67 poisson-regression offset

5

Belastungen gegen Eigenvektoren in PCA: Wann sollte der eine oder andere verwendet werden?

In der Hauptkomponentenanalyse (PCA) erhalten wir Eigenvektoren (Einheitsvektoren) und Eigenwerte. Definieren wir nun Ladungen als Belastungen = Eigenvektoren ⋅ Eigenwerte----------√.Ladungen=Eigenvektoren⋅Eigenwerte.\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Ich weiß, dass Eigenvektoren nur Richtungen sind und Belastungen (wie oben definiert) auch eine Varianz entlang dieser Richtungen beinhalten. Aber zum besseren Verständnis möchte ich wissen, …

67 pca

4

Was macht den Gaußschen Kernel so magisch für PCA und auch im Allgemeinen?

Ich habe über Kernel-PCA ( 1 , 2 , 3 ) mit Gauß- und Polynomkernen gelesen. Wie trennt der Gaußsche Kern scheinbar jede Art von nichtlinearen Daten außergewöhnlich gut? Bitte geben Sie eine intuitive Analyse sowie, wenn möglich, eine mathematische an. Was ist eine Eigenschaft des Gaußschen Kernels (mit ideal …

67 machine-learning pca svm kernel-trick

1

Welche Korrelation macht eine Matrix singulär und was sind Implikationen von Singularität oder Fast-Singularität?

Ich mache einige Berechnungen mit verschiedenen Matrizen (hauptsächlich in der logistischen Regression) und bekomme häufig den Fehler "Matrix ist singulär", wo ich zurückgehen und die korrelierten Variablen entfernen muss. Meine Frage hier ist, was würden Sie als "hoch" korrelierte Matrix betrachten? Gibt es einen Korrelationsschwellenwert, um dieses Wort darzustellen? Wie …

66 regression correlation matrix multicollinearity singular

9

Ist diese Grafik, die die Wahrscheinlichkeit eines Terroranschlags zeigt, statistisch sinnvoll?

Ich sehe, dass dieses Bild viel herumgereicht wird. Ich habe das Gefühl, dass die auf diese Weise bereitgestellten Informationen unvollständig oder sogar fehlerhaft sind, aber ich kenne mich mit Statistiken nicht gut genug aus, um darauf zu antworten. Ich muss an diesen xkcd-Comic denken , dass selbst mit soliden historischen …

66 probability interpretation prediction

4

Schau und du wirst finden (eine Korrelation)

Ich habe mehrere hundert Messungen. Jetzt überlege ich mir, irgendeine Art von Software zu verwenden, um jede Maßnahme mit jeder Maßnahme in Beziehung zu setzen. Dies bedeutet, dass es Tausende von Korrelationen gibt. Darunter sollte (statistisch) eine hohe Korrelation bestehen, auch wenn die Daten vollständig zufällig sind (jede Messung hat …

66 correlation multiple-comparisons permutation-test

7

Wie viel muss ich bezahlen? Ein praktisches Problem

Dies ist keine Hausaufgabenfrage, sondern ein echtes Problem, mit dem unser Unternehmen konfrontiert ist. Vor kurzem (vor 2 Tagen) haben wir bei einem Händler die Herstellung von 10000 Produktetiketten bestellt. Der Händler ist eine unabhängige Person. Er lässt die Etiketten von außen herstellen und bezahlt sie an den Händler. Jedes …

66 probability bayesian model decision-theory

7

Warum die maximale Log-Wahrscheinlichkeit anstelle der Wahrscheinlichkeit optimieren?

In den meisten maschinellen Lernaufgaben, in denen Sie eine Wahrscheinlichkeit formulieren können, die maximiert werden sollte, würden wir tatsächlich die log-Wahrscheinlichkeit anstelle der Wahrscheinlichkeit für einige Parameter optimieren . ZB beim Maximum-Likelihood-Training ist es normalerweise die Log-Likelihood. Wenn Sie dies mit einer Gradientenmethode tun, beinhaltet dies einen Faktor:ppplogplog⁡p\log pθθ\theta ∂logp∂θ=1p⋅∂p∂θ∂log⁡p∂θ=1p⋅∂p∂θ …

66 probability optimization log-likelihood

4

Wie werden ROC-Kurven in einer Mehrklassenklassifizierung dargestellt?

Mit anderen Worten, anstatt ein Zwei-Klassen-Problem zu haben, beschäftige ich mich mit 4 Klassen und möchte immer noch die Leistung unter Verwendung der AUC bewerten.

66 classification roc