Statistiken und Big Data

4

Erstellen von visuell ansprechenden Dichte-Heatmaps in R

Obwohl ich weiß, dass es in R eine Reihe von Funktionen zum Generieren von Wärmekarten gibt, besteht das Problem darin, dass ich keine optisch ansprechenden Karten erstellen kann. Die folgenden Bilder sind beispielsweise gute Beispiele für Heatmaps, die ich vermeiden möchte. Dem ersten fehlt es eindeutig an Details, während das …

27 r data-visualization spatial

3

Bester Banditenalgorithmus?

Der bekannteste Algorithmus für Banditen ist der Upper Confidence Bound (UCB), der diese Klasse von Algorithmen bekannt gemacht hat. Seitdem gehe ich davon aus, dass es jetzt bessere Algorithmen gibt. Was ist der derzeit beste Algorithmus (in Bezug auf empirische Leistung oder theoretische Grenzen)? Ist dieser Algorithmus in gewissem Sinne …

27 machine-learning algorithms theory reinforcement-learning multiarmed-bandit

2

Müssen Null- und Alternativhypothesen erschöpfend sein oder nicht?

Ich habe oft Behauptungen gesehen, dass sie erschöpfend sein müssen (die Beispiele in solchen Büchern waren immer so, dass sie es tatsächlich waren), andererseits habe ich auch oft Bücher gesehen, die angaben, dass sie exklusiv sein sollten ( zum Beispiel als μ 1 = μ 2 und H 1 als …

27 hypothesis-testing

1

Ist die Kreuzvalidierung ein geeigneter Ersatz für das Validierungsset?

In der Textklassifikation habe ich ein Trainingsset mit ca. 800 Samples und ein Testset mit ca. 150 Samples. Das Test-Set wurde noch nie verwendet und wartet darauf, bis zum Ende verwendet zu werden. Ich verwende das gesamte 800-Muster-Trainingsset mit 10-facher Kreuzvalidierung, während ich Klassifikatoren und Funktionen abstimme und optimiere. Dies …

27 machine-learning classification cross-validation text-mining

4

Warum gibt es eine Asymmetrie zwischen dem Trainingsschritt und dem Bewertungsschritt?

Insbesondere in der Verarbeitung natürlicher Sprachen ist bekannt, dass maschinelles Lernen in zwei Schritten ablaufen sollte, einem Trainingsschritt und einem Bewertungsschritt, und sie sollten unterschiedliche Daten verwenden. Warum ist das? Intuitiv hilft dieser Prozess, eine Überanpassung der Daten zu vermeiden, aber ich sehe keinen (informationstheoretischen) Grund, warum dies der Fall …

27 machine-learning cross-validation

3

Kann AIC zwischen verschiedenen Modelltypen vergleichen?

Ich verwende AIC (Akaikes Informationskriterium), um nichtlineare Modelle in R zu vergleichen. Ist es gültig, die AICs verschiedener Modelltypen zu vergleichen? Insbesondere vergleiche ich ein von glm angepasstes Modell mit einem von glmer (lme4) angepassten Ausdruck für zufällige Effekte. Wenn nein, gibt es eine Möglichkeit, einen solchen Vergleich durchzuführen? Oder …

27 lme4-nlme model-selection aic

3

Symbolische Berechnung in R?

Ich habe mich gefragt, ob es möglich ist, symbolische Berechnungen in R? Beispielsweise, Ich hatte gehofft, die Umkehrung einer symbolischen Kovarianzmatrix der 3D-Gauß-Verteilung zu erhalten. Kann ich auch symbolische Integration und Differenzierung in R machen?

27 r

3

Warum werden Jeffreys Priors als nicht informativ eingestuft?

Stellen Sie sich einen Jeffreys vor, wo , wo die Fisher-Information ist.ichp ( θ ) ∝ | i ( θ ) |----√p(θ)∝|i(θ)|p(\theta) \propto \sqrt{|i(\theta)|}ichii Ich sehe diesen Prior immer wieder als nicht informativen Prior, aber ich habe nie ein Argument dafür gesehen, warum er nicht informativ ist. Immerhin ist es …

27 bayesian prior

3

Welches Krankenhaus soll gewählt werden? Einer hat eine höhere Erfolgsquote, der andere eine höhere Gesamterfolgsquote

Ich habe eine Frage zu etwas, was mein Statistiklehrer zu folgendem Problem gesagt hat. Meine Frage bezieht sich nicht einmal auf das Auftreten von Simpsons Paradoxon in dieser Situation. Bei meiner Frage geht es einfach darum, dass mein Professor darauf besteht, dass A) und D) die richtigen Antworten anstelle von …

27 self-study confounding simpsons-paradox

12

Befehlszeilentool zum Berechnen grundlegender Statistiken für Werteströme [geschlossen]

Gibt es ein Befehlszeilentool, das den Zahlenfluss (im ASCII-Format) von der Standardeingabe akzeptiert und die grundlegenden deskriptiven Statistiken für diesen Fluss liefert, z. B. Min, Max, Durchschnitt, Median, RMS, Quantile usw.? Die Ausgabe kann mit dem nächsten Befehl in der Befehlszeilenkette analysiert werden. Die Arbeitsumgebung ist Linux, aber andere Optionen …

27 descriptive-statistics computational-statistics computing

5

Ist ein vager Prior dasselbe wie ein nicht informativer Prior?

Dies ist eine Frage zur Terminologie. Ist ein "vager Prior" dasselbe wie ein nicht informativer Prior oder gibt es einen Unterschied zwischen den beiden? Mein Eindruck ist, dass sie gleich sind (von vage und nicht informativ zusammen nachschlagen), aber ich kann nicht sicher sein.

27 bayesian prior terminology

2

Bedeutung von p-Werten in der Regression

Wenn ich in einigen Softwarepaketen (z. B. Mathematica) eine lineare Regression durchführe, werden den einzelnen Parametern im Modell p-Werte zugeordnet. Zum Beispiel haben die Ergebnisse einer linearen Regression, die ein Ergebnis ergibt, einen p-Wert, der mit a assoziiert ist, und einen mit b .ax+bax+bax+baaabbb Was bedeuten diese p-Werte individuell für …

27 probability regression

2

STL-Trend von Zeitreihen mit R

Ich bin neu in R und in der Zeitreihenanalyse. Ich versuche den Trend einer langen (40 Jahre) täglichen Temperatur-Zeitreihe zu finden und versuche verschiedene Annäherungen. Erstens handelt es sich nur um eine einfache lineare Regression und zweitens um die saisonale Zerlegung von Zeitreihen nach Loess. Bei letzteren scheint die saisonale …

27 r time-series trend

4

Wie wird die „variable Wichtigkeit“ bei der Verwendung von CART gemessen / eingestuft? (speziell mit {rpart} von R)

Wenn Sie ein CART-Modell (insbesondere einen Klassifizierungsbaum) mit rpart (in R) erstellen, ist es häufig interessant zu wissen, welche Bedeutung die verschiedenen Variablen haben, die in das Modell eingeführt werden. Meine Frage lautet daher: Welche gängigen Maße gibt es für das Ranking / Messen der Variablenwichtigkeit von beteiligten Variablen in …

27 r classification model-selection cart rpart

1

Ist eine Interaktion zwischen zwei stetigen Variablen möglich?

Alle meine Variablen sind stetig. Es gibt keine Levels. Ist es möglich, überhaupt eine Interaktion zwischen den Variablen zu haben?

27 regression modeling interaction