Statistiken und Big Data

7

Korrelation zwischen zwei Variablen ungleicher Größe

In einem Problem, an dem ich arbeite, habe ich zwei Zufallsvariablen, X und Y. Ich muss herausfinden, wie eng die beiden miteinander korrelieren, aber sie haben unterschiedliche Dimensionen. Der Rang des Zeilenraums von X beträgt 4350, und der Rang des Zeilenraums von Y ist mit Zehntausenden wesentlich größer. Sowohl X …

9 time-series correlation missing-data finance

1

Fehler beim Schätzen der Größe eines Satzes?

Angenommen, wir haben eine Menge A und eine Teilmenge B. Wenn wir | A | kennen, können wir | B | berechnen durch Finden der Wahrscheinlichkeit p, dass ein Element, das gleichmäßig zufällig aus A ausgewählt wird, zu B gehört. Insbesondere | A | p = | B |. Angenommen, …

9 estimation

5

Berechnung des Perzentils der Normalverteilung

Siehe diese Wikipedia-Seite: http://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Agresti-Coull_Interval Um das Agresti-Coull-Intervall zu erhalten, muss ein Perzentil der Normalverteilung berechnet werden, das . Wie berechne ich das Perzentil? Gibt es eine vorgefertigte Funktion, die dies in Wolfram Mathematica und / oder Python / NumPy / SciPy ausführt?zzz

9 python normal-distribution

1

Lernen der Struktur einer hierarchischen Verstärkungsaufgabe

Ich habe hierachiale Verstärkungslernprobleme untersucht, und während viele Artikel Algorithmen zum Erlernen einer Richtlinie vorschlagen, scheinen alle davon auszugehen, dass sie im Voraus eine Diagrammstruktur kennen, die die Hierarchie der Aktionen in der Domäne beschreibt. Beispielsweise beschreibt die MAXQ-Methode für das Lernen der hierarchischen Verstärkung von Dietterich ein Diagramm mit …

9 machine-learning

2

Faktoranalyse dyadischer Daten

Ein anonymer Leser hat die folgende Frage in meinem Blog gepostet . Kontext: Der Leser wollte anhand eines Fragebogens eine Faktorenanalyse auf Skalen durchführen - die Daten stammten jedoch von gepaarten Ehemännern und Ehefrauen. Frage: Kann eine Faktoranalyse mit dyadischen Daten durchgeführt werden? Wenn das so ist, wie? Würde die …

9 factor-analysis independence

2

Vorher für eine Gamma-Verteilung konjugieren

Ich muss die Ausfallrate (als deterministisch angegeben) basierend auf der neuen Ausfallrate für dasselbe System aktualisieren (es ist auch eine deterministische). Ich las über konjugierte Prioritäten und die Gammaverteilung als Konjugat für den Poisson-Prozess. Ich kann auch den Mittelwert von Gamma dist gleichsetzen. ( ) auf die neue Rate (als …

9 bayesian

2

Dynamische Berechnung der Anzahl der Proben, die zur Schätzung des Mittelwerts erforderlich sind

Ich versuche, den Mittelwert einer mehr oder weniger Gaußschen Verteilung durch Stichproben zu schätzen. Ich habe keine Vorkenntnisse über den Mittelwert oder die Varianz. Jede Probe ist teuer zu bekommen. Wie entscheide ich dynamisch, wie viele Proben ich benötige, um ein bestimmtes Maß an Vertrauen / Genauigkeit zu erreichen? Woher …

9 estimation sample-size

2

Berechnung der kumulativen Verteilung des maximalen Drawdowns des Random Walk mit Drift

Ich interessiere mich für die Verteilung des maximalen Drawdowns eines zufälligen Spaziergangs: Sei wobei . Der maximale Drawdown nach Perioden beträgt . Ein Artikel von Magdon-Ismail et. al. gibt die Verteilung für die maximale Absenkung einer Brownschen Bewegung mit Drift an. Der Ausdruck beinhaltet eine unendliche Summe, die einige Begriffe …

9 distributions cdf finance random-walk

3

Autokorrelation bei Nichtstationarität?

Hat die Autokorrelationsfunktion bei einer instationären Zeitreihe eine Bedeutung? Die Zeitreihen werden im Allgemeinen als stationär angenommen, bevor die Autokorrelation für Box- und Jenkins-Modellierungszwecke verwendet wird.

9 time-series autocorrelation box-jenkins

3

Über die Verwendung der Schrägrotation nach PCA

Mit mehreren Statistikpaketen wie SAS, SPSS und R können Sie nach einer PCA eine Art Faktorrotation durchführen. Warum ist nach einer PCA eine Rotation notwendig? Warum sollten Sie nach einer PCA eine schräge Rotation anwenden, da das Ziel der PCA darin besteht, orthogonale Dimensionen zu erzeugen?

9 pca factor-analysis factor-rotation

1

Wünschenswerte und unerwünschte Eigenschaften lateinischer Quadrate in Experimenten?

Eine flüchtige Suche zeigt, dass lateinische Quadrate bei der Versuchsplanung ziemlich häufig verwendet werden. Während meiner Doktorarbeit habe ich verschiedene theoretische Eigenschaften von lateinischen Quadraten untersucht (aus kombinatorischer Sicht), aber ich habe kein tiefes Verständnis dafür, was es mit lateinischen Quadraten auf sich hat, das sie für das experimentelle Design …

9 experiment-design

2

Messung der Anpassungsgüte in einem Modell, das zwei Verteilungen kombiniert

Ich habe Daten mit einem Doppelpeak, die ich zu modellieren versuche, und es gibt genügend Überlappungen zwischen den Peaks, sodass ich sie nicht unabhängig behandeln kann. Ein Histogramm der Daten könnte ungefähr so aussehen: Ich habe dafür zwei Modelle erstellt: eines verwendet zwei Poisson-Verteilungen und das andere verwendet zwei negative …

9 modeling histogram kolmogorov-smirnov negative-binomial likelihood-ratio

3

Wie erstellen wir ein Konfidenzintervall für den Parameter eines Permutationstests?

Permutationstests sind Signifikanztests, die auf Permutations-Resamples basieren, die zufällig aus den Originaldaten gezogen wurden. Permutations-Resamples werden ersatzlos gezeichnet, im Gegensatz zu Bootstrap-Samples, die ersatzlos gezeichnet werden. Hier ist ein Beispiel, das ich in R eines einfachen Permutationstests gemacht habe. (Ihre Kommentare sind willkommen) Permutationstests haben große Vorteile. Sie erfordern keine …

9 confidence-interval bootstrap permutation-test

3

Welche Technik sollten wir für ein Klassifizierungsproblem verwenden, wenn die Klassenvariable eine ungleiche Verteilung aufweist?

für zB. Wenn ich eine klassenvariable Kreditbewertung mit zwei Klassen gut und schlecht habe, wobei # (gut) = 700 und # (schlecht) = 300. Ich möchte meine Daten nicht verkürzen. Welche Technik sollte ich verwenden? Ich habe SVM verwendet, aber es gibt alles so gut wie gut in Vorhersagen.

9 classification binary-data

3

Lineare Regressionseffektgrößen bei Verwendung transformierter Variablen

Bei der Durchführung einer linearen Regression ist es häufig nützlich, eine Transformation wie eine logarithmische Transformation für die abhängige Variable durchzuführen, um eine bessere Normalverteilungskonformation zu erzielen. Oft ist es auch nützlich, Betas anhand der Regression zu untersuchen, um die Effektgröße / tatsächliche Relevanz der Ergebnisse besser beurteilen zu können. …

9 regression data-transformation effect-size