Statistiken und Big Data

3

Logistische Regressionsverzerrung bei seltenen Ereignissen: Wie kann man die unterschätzten p mit einem minimalen Beispiel simulieren?

CrossValidated hat verschiedene Fragen, wann und wie die Selten-Ereignis-Bias-Korrektur von King und Zeng (2001) angewendet werden soll. . Ich suche etwas anderes: eine minimale simulationsbasierte Demonstration, dass der Bias existiert. Insbesondere König und Zeng Zustand "... in Daten zu seltenen Ereignissen können die Wahrscheinlichkeiten bei Stichprobengrößen zu Tausenden erheblich sein …

19 r logistic simulation bias rare-events

1

Was ist aus dieser Lasso-Handlung (glmnet) zu schließen?

Es folgt die Darstellung von glmnet mit dem Standard-Alpha (1, daher Lasso) unter Verwendung des mtcarsDatensatzes in R mit mpgals DV und anderen als Prädiktorvariablen. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Was können wir aus dieser Handlung in Bezug auf verschiedene Variablen schließen, vor allem am, cylund wt(rot, schwarz und hellblaue Linien)? Wie würden …

19 regression feature-selection lasso glmnet

1

Geometrisches Verständnis von PCA im Subjektraum

Ich versuche ein intuitives Verständnis dafür zu bekommen, wie die Hauptkomponentenanalyse (PCA) im Subjekt- (Doppel-) Raum funktioniert . Betrachten 2D - Datensatz mit zwei Variablen, x1x1x_1 und x2x2x_2 , und nnn Datenpunkte (Datenmatrix XX\mathbf X ist n×2n×2n\times 2 und wird angenommen, zentriert werden). Die übliche Darstellung von PCA ist, dass …

19 pca linear-algebra intuition geometry

5

Verwendung der Cholesky-Zerlegung oder einer Alternative für die Simulation korrelierter Daten

Ich benutze die Cholesky-Zerlegung, um korrelierte Zufallsvariablen bei gegebener Korrelationsmatrix zu simulieren. Die Sache ist, das Ergebnis reproduziert niemals die Korrelationsstruktur, wie sie gegeben ist. Hier ist ein kleines Beispiel in Python, um die Situation zu veranschaulichen. import numpy as np n_obs = 10000 means = [1, 2, 3] sds …

19 correlation random-generation cholesky

3

Wie funktioniert die Formel zur Erzeugung korrelierter Zufallsvariablen?

Wenn wir 2 normale, nicht korrelierte Zufallsvariablen haben, können wir mit der Formel 2 korrelierte Zufallsvariablen erstellenX1,X2X1,X2X_1, X_2 Y=ρX1+1−ρ2−−−−−√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 und dann wird eine Korrelation mit .ρ X 1YYYρρ\rhoX1X1X_1 Kann jemand erklären, woher diese Formel kommt?

19 correlation normal-distribution covariance

3

Warum sind Pearson parametrisch und Spearman nicht parametrisch?

Anscheinend ist Pearsons Korrelationskoeffizient parametrisch und Spearmans Rho nicht parametrisch. Ich habe Probleme, das zu verstehen. So wie ich es verstehe, wird Pearson berechnet als und Spearman wird auf die gleiche Weise berechnet, außer dass wir alle Werte durch ihre Ränge ersetzen.rx y= c o v ( X, Y)σxσyrxy=cOv(X,Y.)σxσy r_{xy} …

19 nonparametric pearson-r parametric spearman-rho

3

Verwechslung mit falscher Entdeckungsrate und mehrfachen Tests (auf Colquhoun 2014)

Ich habe diesen großartigen Artikel von David Colquhoun gelesen: Eine Untersuchung der Rate falscher Entdeckungen und der Fehlinterpretation von p-Werten (2014). Im Wesentlichen erklärt er, warum die Rate falscher Entdeckungen (FDR) bis zu betragen kann, obwohl wir den Fehler vom Typ I mit kontrollieren .α = 0,0530 %30%30\%α = 0,05α=0.05\alpha=0.05 …

19 hypothesis-testing statistical-significance p-value multiple-comparisons false-discovery-rate

5

Gibt es Versionen von t-SNE für das Streaming von Daten?

Mein Verständnis von t-SNE und der Barnes-Hut-Näherung ist, dass alle Datenpunkte erforderlich sind, damit alle Kraftwechselwirkungen gleichzeitig berechnet werden können und jeder Punkt in der 2d-Karte (oder der Karte mit der niedrigeren Dimension) angepasst werden kann. Gibt es Versionen von t-sne, die effizient mit Streaming-Daten umgehen können? Wenn also meine …

19 data-visualization dimensionality-reduction multidimensional-scaling tsne

2

Wie können wiederkehrende neuronale Netze zur Sequenzklassifizierung verwendet werden?

RNN kann zur Vorhersage oder Sequenz-zu-Sequenz-Zuordnung verwendet werden. Aber wie kann RNN zur Klassifizierung verwendet werden? Ich meine, wir geben einer ganzen Sequenz ein Etikett.

19 machine-learning neural-networks rnn

1

Vorhersageintervall basierend auf Kreuzvalidierung (CV)

In den Lehrbüchern und YouTube-Vorlesungen habe ich viel über iterative Modelle wie Boosten gelernt, aber ich habe nie etwas darüber gesehen, wie man ein Vorhersageintervall ableitet. Kreuzvalidierung wird für Folgendes verwendet: Modellauswahl : Probieren Sie verschiedene Modelle aus und wählen Sie das Modell , das am besten passt. Verwenden Sie …

19 cross-validation boosting prediction-interval

1

Warum Aktienkurse normal sind, Aktienrenditen aber normal

Gibt es außer der Tatsache, dass die Renditen negativ sein können, während die Preise positiv sein müssen, einen anderen Grund dafür, Aktienkurse als logarithmische Normalverteilung zu modellieren, aber Aktienrenditen als Normalverteilung zu modellieren?

19 normal-distribution lognormal finance

4

Gründe für die normale Datenverteilung

Was sind einige Theoreme, die erklären könnten (dh generativ), warum erwartet werden kann, dass reale Daten normal verteilt sind? Es gibt zwei, die ich kenne: Der zentrale Grenzwertsatz (natürlich), der besagt, dass die Summe mehrerer unabhängiger Zufallsvariablen mit Mittelwert und Varianz (auch wenn sie nicht identisch verteilt sind) dazu neigt, …

19 normal-distribution central-limit-theorem

2

Elastic / Ridge / Lasso-Analyse, was dann?

Ich interessiere mich sehr für das elastische Netzverfahren für das Schrumpfen / Selektieren des Prädiktors. Es scheint sehr mächtig zu sein. Aber aus wissenschaftlicher Sicht weiß ich nicht genau, was ich tun soll, wenn ich die Koeffizienten habe. Welche Frage beantworte ich? Dies sind die Variablen, die das Ergebnis am …

19 hypothesis-testing prediction inference lasso elastic-net

4

Bedeutet Mean = Median, dass eine unimodale Verteilung symmetrisch ist?

Wenn für eine unimodale Verteilung der Mittelwert = Median ist, ist es dann ausreichend zu sagen, dass die Verteilung symmetrisch ist? Wikipedia sagt in Beziehung zwischen Mittelwert und Median: "Wenn die Verteilung symmetrisch ist, ist der Mittelwert gleich dem Median und die Verteilung hat eine Schiefe von Null. Wenn die …

19 distributions mean median symmetry

4

Was genau sind Momente? Wie werden sie abgeleitet?

Wir werden in der Regel mit der Methode der Momentschätzer vertraut gemacht, indem wir "Populationsmomente ihrem Beispielgegenstück zuordnen", bis wir alle Populationsparameter geschätzt haben. so dass wir im Falle einer Normalverteilung nur den ersten und den zweiten Moment benötigen würden, weil sie diese Verteilung vollständig beschreiben. E(X)=μ⟹∑ni=1Xi/n=X¯E(X)=μ⟹∑i=1nXi/n=X¯E(X) = \mu \implies …

19 mathematical-statistics lognormal moments method-of-moments