Statistiken und Big Data

1

Was ist die Geschichte der Box-Plots und wie hat sich das Design von „Box and Whiskers“ entwickelt?

Viele Quellen datieren das klassische „Box - Plot“ Design John Tukey und seine „schematische Handlung“ von 1970. Das Design relativ statisch geblieben zu sein scheint seither mit Edward Tufte des abgespeckte Version des Box - Plot Fehlern zu fangen, während Geigenhandlungen - obwohl eine informativere Variante der Boxhandlung - sind …

19 data-visualization references boxplot history

4

Warum verbessert das Erhöhen der Stichprobengröße der Münzwürfe nicht die normale Kurvenannäherung?

Ich lese das Statistikbuch (Freeman, Pisani, Purves) und versuche, ein Beispiel zu reproduzieren, in dem eine Münze etwa 50 Mal geworfen wird, die Anzahl der Köpfe gezählt wird und dies etwa 1.000 Mal wiederholt wird. Zuerst habe ich die Anzahl der Würfe (Stichprobengröße) bei 1000 gehalten und die Wiederholungen erhöht. …

19 normal-distribution central-limit-theorem normal-approximation

2

Warum führt die Minimierung der MAE zur Vorhersage des Medians und nicht des Mittelwerts?

Aus dem Lehrbuch „ Forecasting: Principles and Practice“ von Rob J. Hyndman und George Athanasopoulos , insbesondere der Abschnitt zur Genauigkeitsmessung : Eine Prognosemethode, die den MAE minimiert, führt zu Prognosen des Medians, während die Minimierung des RMSE zu Prognosen des Mittelwerts führt Kann jemand intuitiv erklären, warum die Minimierung …

19 forecasting mean median rms mae

5

Vermeiden Sie eine Überanpassung bei der Regression: Alternativen zur Regularisierung

Regularisierung in der Regression (linear, logistisch ...) ist die beliebteste Methode, um Überanpassung zu reduzieren. Gibt es gute Alternativen zur Regularisierung, insbesondere für große Datenmengen (Millionen von Beobachtungen und Millionen von Merkmalen), wenn das Ziel Vorhersagegenauigkeit ist (keine Erklärung)?

19 regression regularization overfitting

1

Wie funktioniert die negative Abtastung in word2vec?

Ich habe mich bemüht, das Konzept der negativen Abtastung im Kontext von word2vec zu verstehen. Ich bin nicht in der Lage, die Idee der [negativen] Probenahme zu verdauen. Zum Beispiel wird in Mikolovs Arbeiten die negative Stichprobenerwartung wie folgt formuliert Logσ( ⟨ W , c ⟩ ) + k ⋅ …

19 machine-learning word2vec word-embeddings

4

Beziehungen zwischen Korrelation und Kausalität

Aus der Wikipedia-Seite mit dem Titel Korrelation impliziert nicht Kausalität , Für zwei beliebige korrelierte Ereignisse, A und B, umfassen die verschiedenen möglichen Beziehungen: A verursacht B (direkte Ursache); B verursacht A (umgekehrte Ursache); A und B sind Konsequenzen einer gemeinsamen Ursache, verursachen sich aber nicht gegenseitig; A und B …

19 correlation causality

2

Was ist / sind die impliziten Prioritäten in der frequentistischen Statistik?

Ich habe die Vorstellung gehört, dass Jaynes behauptet, Frequentisten würden mit einem "impliziten Prior" operieren. Was ist oder sind diese impliziten Prioritäten? Bedeutet dies, dass frequentistische Modelle alle Sonderfälle von Bayes'schen Modellen sind, die darauf warten, gefunden zu werden?

19 bayesian prior posterior frequentist

1

Nicht parametrischer Test, wenn zwei Proben aus derselben Verteilung gezogen wurden

Ich möchte die Hypothese testen, dass zwei Stichproben aus derselben Grundgesamtheit stammen, ohne Annahmen über die Verteilung der Stichproben oder der Grundgesamtheit zu treffen. Wie soll ich das machen? Aus Wikipedia ist mein Eindruck, dass der Mann Whitney U-Test geeignet sein sollte, aber er scheint in der Praxis nicht für …

19 r hypothesis-testing nonparametric wilcoxon-mann-whitney wilcoxon-signed-rank

3

Wie können wir die Genauigkeit der Vorhersagen von Nate Silver beurteilen?

Erstens gibt er Wahrscheinlichkeit von Ergebnissen. So liegen seine Vorhersagen für die US-Wahlen derzeit bei 82% Clinton gegenüber 18% Trump. Nun, auch wenn Trump gewinnt, woher weiß ich, dass er nicht nur 18% der Zeit hätte gewinnen sollen? Das andere Problem ist, dass sich seine Wahrscheinlichkeiten mit der Zeit ändern. …

19 forecasting prediction validation accuracy scoring-rules

5

Wenn der zentrale Grenzwertsatz und das Gesetz der großen Zahlen nicht übereinstimmen

Dies ist im Wesentlichen eine Replikation einer Frage, die ich bei math.se gefunden habe und die nicht die Antworten bekam, auf die ich gehofft hatte. Sei eine Folge von unabhängigen, identisch verteilten Zufallsvariablen mit und .{Xi}i∈N{Xi}i∈N\{ X_i \}_{i \in \mathbb{N}}E[Xi]=1E[Xi]=1\mathbb{E}[X_i] = 1V[Xi]=1V[Xi]=1\mathbb{V}[X_i] = 1 Betrachten Sie die Bewertung von limn→∞P(1n−−√∑i=1nXi≤n−−√)limn→∞P(1n∑i=1nXi≤n) …

19 probability mathematical-statistics asymptotics

3

Wie nutze ich das frühe Stoppen richtig für das Training eines tiefen neuronalen Netzwerks?

Ich habe ein tiefes neuronales Netzwerkmodell und muss es auf meinem Datensatz trainieren, der aus ungefähr 100.000 Beispielen besteht. Meine Validierungsdaten enthalten ungefähr 1000 Beispiele. Da es einige Zeit dauert, um jedes Beispiel zu trainieren (ungefähr 0,5 Sekunden für jedes Beispiel) und um eine Überanpassung zu vermeiden, möchte ich ein …

19 neural-networks deep-learning

4

Unterschied zwischen RNN und LSTM / GRU

Ich versuche, verschiedene RNN-Architekturen (Recurrent Neural Network) zu verstehen, die auf Zeitreihendaten angewendet werden sollen, und bin etwas verwirrt mit den verschiedenen Namen, die häufig bei der Beschreibung von RNNs verwendet werden. Ist die Struktur von Langzeitspeicher (LSTM) und Gated Recurrent Unit (GRU) im Wesentlichen ein RNN mit einer Rückkopplungsschleife?

19 neural-networks lstm rnn

3

Wie ist

Die kartesischen Koordinaten eines zufälligen Punktes seien st .x,yx,yx,y(x,y)∼U(−10,10)×U(−10,10)(x,y)∼U(−10,10)×U(−10,10)(x,y) \sim U(-10,10) \times U(-10,10) Somit ist der Radius, , nicht gleichmäßig verteilt , wie angedeutet durch ‚s pdf .ρ=x2+y2−−−−−−√ρ=x2+y2\rho = \sqrt{x^2 + y^2}ρρ\rho Trotzdem würde ich erwarten, dass nahezu einheitlich ist, ohne Artefakte aufgrund der 4 Reste an den Rändern:θ=arctanyxθ=arctan⁡yx\theta = …

19 normal-distribution matlab pdf uniform

2

Multilabel-Klassifizierungsmetriken für Scikit

Ich versuche, einen Multi-Label-Klassifikator zu erstellen, um vorhandenen Dokumenten mithilfe von Scikit Themen zuzuweisen Ich bearbeite meine Dokumente, indem ich sie über TfidfVectorizerdie Etiketten durch die MultiLabelBinarizerund OneVsRestClassifiermit einerSGDClassifier als Schätzer erstellte. Beim Testen meines Klassifikators erhalte ich jedoch nur Punkte bis zu 0,29 , was nach meiner Lektüre für …

19 scikit-learn multi-class multilabel

3

Ist ein Entscheidungsstumpf ein lineares Modell?

Entscheidungsstumpf ist ein Entscheidungsbaum mit nur einer Teilung. Es kann auch als stückweise Funktion geschrieben werden. Angenommen, ist ein Vektor und ist die erste Komponente von . Bei der Regressionseinstellung kann es sich um einen Entscheidungsstumpf handelnx 1 xxxxx1x1x_1xxx f( x ) = { 35x1≤ 2x1> 2f(x)={3x1≤25x1>2f(x)= \begin{cases} 3& x_1\leq …

19 machine-learning cart linear boosting