Statistiken und Big Data

2

Wann (und warum) sollten Sie das Protokoll einer Verteilung (von Zahlen) aufnehmen?

Angenommen, ich habe einige historische Daten, z. B. vergangene Aktienkurse, Flugpreisschwankungen, vergangene Finanzdaten des Unternehmens ... Jetzt kommt jemand (oder eine Formel) und sagt "Lass uns das Protokoll der Distribution nehmen / benutzen" und hier ist, wohin ich gehe WARUM ? Fragen: WARUM sollte man überhaupt das Verteilungsprotokoll führen? WAS …

173 distributions data-transformation logarithm

4

Wie man einen QQ-Plot interpretiert

Ich arbeite mit einem kleinen Datensatz (21 Beobachtungen) und habe den folgenden normalen QQ-Plot in R: Was kann ich angesichts der Tatsache, dass die Darstellung keine Normalität unterstützt, auf die zugrunde liegende Verteilung schließen? Es scheint mir, dass eine Verteilung, die mehr nach rechts geneigt ist, besser passt, stimmt das? …

172 r data-visualization inference qq-plot

9

Warum die plötzliche Faszination für Tensoren?

In letzter Zeit ist mir aufgefallen, dass viele Leute Tensoräquivalente vieler Methoden entwickeln (Tensorfaktorisierung, Tensorkerne, Tensoren für Themenmodellierung usw.). Ich frage mich, warum die Welt plötzlich von Tensoren fasziniert ist. Gibt es kürzlich erschienene Artikel / Standardergebnisse, die besonders überraschend sind und dies bewirkten? Ist es rechnerisch viel billiger als …

171 machine-learning references matrix linear-algebra tensor

3

Wann sollte ich Lasso vs Ridge verwenden?

Angenommen, ich möchte eine große Anzahl von Parametern schätzen und einige davon benachteiligen, weil ich der Meinung bin, dass sie im Vergleich zu den anderen nur geringe Auswirkungen haben sollten. Wie entscheide ich mich für ein Strafschema? Wann ist eine Kammregression angemessener? Wann sollte ich Lasso verwenden?

167 regression lasso ridge-regression

30

Statistik Witze

Nun, wir haben Lieblingszitate aus der Statistik. Was ist mit Statistik-Witzen?

165 references humor

8

Wann ist es in der linearen Regression angebracht, das Protokoll einer unabhängigen Variablen anstelle der tatsächlichen Werte zu verwenden?

Bin ich auf der Suche nach einer besser verhaltenen Verteilung für die betreffende unabhängige Variable oder nach einer Reduzierung der Auswirkung von Ausreißern oder nach etwas anderem?

164 regression distributions data-transformation logarithm regression-strategies

8

Wie gehe ich mit perfekter Trennung in der logistischen Regression um?

Wenn Sie eine Variable haben, die Nullen und Einsen in der Zielvariablen perfekt trennt, gibt R die folgende Warnmeldung "perfekte oder quasi perfekte Trennung" aus: Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred Wir haben immer noch das Modell, aber die Koeffizientenschätzungen sind überhöht. Wie gehen Sie in …

163 r regression logistic separation

21

Hat Julia Hoffnung, in der statistischen Community zu bleiben?

Ich habe kürzlich einen Beitrag von R-Bloggern gelesen, der mit diesem Blogbeitrag von John Myles White über eine neue Sprache namens Julia verlinkt ist . Julia nutzt einen Just-in-Time-Compiler, der unglaublich schnelle Laufzeiten liefert und die gleiche Größenordnung der Geschwindigkeit wie C / C ++ aufweist (die gleiche Reihenfolge , …

161 r computational-statistics software computing julia

3

Rs lmer Spickzettel

In diesem Forum wird viel darüber diskutiert, wie verschiedene hierarchische Modelle richtig angegeben werden können lmer. Ich dachte, es wäre großartig, alle Informationen an einem Ort zu haben. Ein paar Fragen zum Starten: So legen Sie mehrere Ebenen fest, in denen eine Gruppe in der anderen verschachtelt ist: (1|group1:group2)oder (1+group1|group2)? …

160 r mixed-model random-effects-model fixed-effects-model lme4-nlme

3

ROC vs Precision-and-Recall-Kurven

Ich verstehe die formalen Unterschiede zwischen ihnen, was ich wissen möchte, ist, wenn es relevanter ist, eins gegen das andere zu verwenden. Bieten sie immer einen ergänzenden Einblick in die Leistung eines bestimmten Klassifizierungs- / Erkennungssystems? Wann ist es sinnvoll, sie beide beispielsweise in einer Zeitung zu veröffentlichen? statt nur …

159 machine-learning roc precision-recall

2

Wie erhalte ich die Anzahl der Zeilen eines data.frame in R? [geschlossen]

Nach dem Lesen eines Datensatzes: dataset <- read.csv("forR.csv") Wie kann ich R veranlassen, mir die Anzahl der darin enthaltenen Fälle mitzuteilen? Wird der zurückgegebene Wert auch Ausschlussfälle enthalten, die mit weggelassen wurden na.omit(dataset)?

157 r

2

Generativ vs. diskriminativ

Ich weiß, dass generativ "basierend auf P(x,y)P(x,y)P(x,y) " und diskriminativ "basierend auf P(y|x)P(y|x)P(y|x) " bedeutet, aber ich bin in mehreren Punkten verwirrt: Wikipedia (+ viele andere Zugriffe im Web) stuft Dinge wie SVMs und Entscheidungsbäume als diskriminierend ein. Aber diese haben nicht einmal probabilistische Interpretationen. Was heißt hier diskriminierend? Ist …

153 machine-learning generative-models

7

PCA über Korrelation oder Kovarianz?

Was sind die Hauptunterschiede zwischen der Durchführung einer Hauptkomponentenanalyse (PCA) in der Korrelationsmatrix und der Kovarianzmatrix? Geben sie die gleichen Ergebnisse?

153 correlation pca covariance factor-analysis

6

Kann ein Wahrscheinlichkeitsverteilungswert von mehr als 1 in Ordnung sein?

Auf der Wikipedia-Seite über naive Bayes-Klassifikatoren gibt es diese Zeile: p ( h e i g h t | m eine l e ) = 1,5789p(heichGht|meinle)=1,5789p(\mathrm{height}|\mathrm{male}) = 1.5789 (Eine Wahrscheinlichkeitsverteilung über 1 ist in Ordnung. Es ist die Fläche unter der Glockenkurve, die gleich 1 ist.) Wie kann ein Wert …

149 distributions probability normal-distribution pdf

6

Wie wählt man ein Vorhersagemodell nach einer k-fachen Kreuzvalidierung?

Ich frage mich, wie ich ein Vorhersagemodell auswählen soll, nachdem ich die K-fache Kreuzvalidierung durchgeführt habe. Dies mag umständlich formuliert sein. Lassen Sie mich dies näher erläutern: Wenn ich eine K-fache Kreuzvalidierung durchführe, verwende ich K Teilmengen der Trainingsdaten und erhalte K verschiedene Modelle. Ich würde gerne wissen, wie man …

148 cross-validation model-selection