Statistiken und Big Data

4

Was ist der geeignetere Weg, um ein Hold-out-Set zu erstellen: einige Themen zu entfernen oder einige Beobachtungen von jedem Thema zu entfernen?

Ich habe einen Datensatz mit 26 Funktionen und 31000 Zeilen. Es ist der Datensatz von 38 Probanden. Es ist für ein biometrisches System. Ich möchte also in der Lage sein, Themen zu identifizieren. Ich weiß, dass ich einige Werte entfernen muss, um einen Testsatz zu haben. Was ist besser und …

11 machine-learning cross-validation out-of-sample

4

Die Summe der unabhängigen lognormalen Zufallsvariablen erscheint lognormal?

Ich versuche zu verstehen, warum sich die Summe von zwei (oder mehr) lognormalen Zufallsvariablen einer lognormalen Verteilung nähert, wenn Sie die Anzahl der Beobachtungen erhöhen. Ich habe online gesucht und keine diesbezüglichen Ergebnisse gefunden. Wenn und Y unabhängige lognormale Variablen sind, ist X × Y aufgrund der Eigenschaften von Exponenten …

11 distributions lognormal convolution sum

2

Grafische Intuition der Statistik auf einer Mannigfaltigkeit

In diesem Beitrag können Sie die Erklärung lesen: Modelle werden normalerweise durch Punkte θθ\theta auf einer endlich dimensionalen Mannigfaltigkeit dargestellt. Über Differentialgeometrie und Statistik von Michael K. Murray und John W. Rice werden diese Konzepte in lesbarer Prosa erklärt, wobei die mathematischen Ausdrücke ignoriert werden. Leider gibt es nur sehr …

11 distributions manifold-learning information-geometry topologies

2

Beweis des zentralen Grenzwertsatzes ohne Verwendung charakteristischer Funktionen

Gibt es einen Beweis dafür, dass das CLT keine charakteristischen Funktionen verwendet, eine einfachere Methode? Vielleicht Tikhomirov oder Steins Methoden? Etwas Eigenständiges, das Sie einem Universitätsstudenten erklären können (erstes Jahr Mathematik oder Physik) und das weniger als eine Seite umfasst?

11 mathematical-statistics central-limit-theorem characteristic-function

1

Warum senkt eine große Auswahl an K meine Kreuzvalidierungsbewertung?

Beim Herumspielen mit dem Boston Housing Dataset und RandomForestRegressor(mit Standardparametern) beim Scikit-Lernen fiel mir etwas Seltsames auf: Der durchschnittliche Kreuzvalidierungswert nahm ab, als ich die Anzahl der Falten über 10 erhöhte. Meine Kreuzvalidierungsstrategie lautete wie folgt: cv_met = ShuffleSplit(n_splits=k, test_size=1/k) scores = cross_val_score(est, X, y, cv=cv_met) ... wo num_cvswar abwechslungsreich. …

11 machine-learning cross-validation random-forest sample-size scikit-learn

3

Was sind die Vorteile eines exponentiellen Zufallsgenerators nach der Methode von Ahrens und Dieter (1972) anstelle einer inversen Transformation?

Meine Frage ist inspiriert R ‚s built-in exponentiellem Zufallszahlengenerator, die Funktion rexp(). Bei dem Versuch, exponentiell verteilte Zufallszahlen zu generieren, empfehlen viele Lehrbücher die inverse Transformationsmethode, wie auf dieser Wikipedia-Seite beschrieben . Mir ist bewusst, dass es andere Methoden gibt, um diese Aufgabe zu erfüllen. Insbesondere verwendet der Quellcode von …

11 r simulation random-generation exponential inverse-cdf

1

Mclust Modellauswahl

Das R-Paket mclustverwendet BIC als Kriterium für die Auswahl des Clustermodells. Nach meinem Verständnis sollte ein Modell mit dem niedrigsten BIC gegenüber anderen Modellen ausgewählt werden (wenn Sie sich nur für BIC interessieren). Wenn jedoch alle BIC-Werte negativ sind, Mclustwird standardmäßig das Modell mit dem höchsten BIC-Wert verwendet. Mein allgemeines …

11 r clustering gaussian-mixture bic model-based-clustering

2

Beta-Verteilung beim Werfen einer Münze

Kruschkes Bayesianisches Buch sagt über die Verwendung einer Beta-Distribution zum Werfen einer Münze: Wenn wir zum Beispiel kein anderes Vorwissen haben als das Wissen, dass die Münze eine Kopf- und eine Schwanzseite hat, bedeutet dies, dass wir zuvor einen Kopf und einen Schwanz beobachtet haben, was a = 1 und …

11 probability bayesian beta-distribution

2

Ist es falsch, ANOVA anstelle eines T-Tests zum Vergleich zweier Mittelwerte zu verwenden?

Ich habe eine Verteilung der Gehälter und möchte den Unterschied in den Mitteln für Männer und Frauen vergleichen. Ich weiß, dass es den Schüler-T-Test zum Vergleichen von zwei Mitteln gibt, aber nachdem ich ANOVA vorgeschlagen hatte, erhielt ich einige Kritik, dass ANOVA zum Vergleichen von mehr als zwei Mitteln dient. …

11 hypothesis-testing anova t-test

3

Soll ich für meinen Poisson GLM einen Offset verwenden?

Ich forsche, um Unterschiede in der Fischdichte und im Fischartenreichtum zu untersuchen, wenn ich zwei verschiedene visuelle Unterwasserzählungsmethoden verwende. Meine Daten waren ursprünglich Zähldaten, aber normalerweise wird dies in Fischdichte geändert, aber ich habe mich immer noch für die Verwendung eines Poisson GLM entschieden, was hoffentlich richtig ist. model1 <- …

11 r generalized-linear-model poisson-distribution offset

2

Verwenden Sie den Pearson-Korrelationskoeffizienten als Optimierungsziel beim maschinellen Lernen

Beim maschinellen Lernen (für Regressionsprobleme) sehe ich häufig, dass der mittlere quadratische Fehler (MSE) oder der mittlere absolute Fehler (MAE) als Fehlerfunktion zum Minimieren verwendet werden (plus Regularisierungsterm). Ich frage mich, ob es Situationen gibt, in denen die Verwendung des Korrelationskoeffizienten angemessener wäre. Wenn eine solche Situation vorliegt, dann: In …

11 regression machine-learning svm optimization deep-learning

3

Was sind Beispiele aus der Praxis für „nicht parametrische statistische Modelle“?

Ich lese hier den Wikipedia-Artikel über statistische Modelle und bin etwas ratlos über die Bedeutung von "nichtparametrischen statistischen Modellen", insbesondere: Ein statistisches Modell ist nichtparametrisch, wenn der Parametersatz unendlich dimensional ist. Ein statistisches Modell ist semiparametrisch, wenn es sowohl endlichdimensionale als auch unendlichdimensionale Parameter aufweist. Wenn d die Dimension von …

11 nonparametric model

2

Unterschied in Unterschieden zu einzelnen Level-Panel-Daten

Was ist der richtige Weg, um einen Unterschied im Differenzmodell mit individuellen Level-Panel-Daten anzugeben? Hier ist das Setup: Angenommen, ich habe Panel-Daten auf Einzelebene, die seit mehreren Jahren in Städten eingebettet sind, und die Behandlung variiert je nach Stadtjahr. Formal lassen das Ergebnis für einzelne sein i in der Stadt …

11 econometrics panel-data fixed-effects-model difference-in-difference

1

Interpretation der LASSO-Regressionskoeffizienten

Ich arbeite derzeit daran, ein Vorhersagemodell für ein binäres Ergebnis in einem Datensatz mit ~ 300 Variablen und 800 Beobachtungen zu erstellen. Ich habe auf dieser Website viel über die Probleme gelesen, die mit der schrittweisen Regression verbunden sind, und warum man sie nicht verwendet. Ich habe die LASSO-Regression und …

11 multiple-regression predictive-models interpretation regression-coefficients lasso

2

Inkrementelles Lernen für Klassifikationsmodelle in R.

Angenommen, ich habe einen Klassifizierer (es kann sich um einen der Standardklassifizierer wie Entscheidungsbaum, zufällige Gesamtstruktur, logistische Regression usw. handeln) zur Betrugserkennung mit dem folgenden Code library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic classifier Say, Y is a binary outcome - …

11 classification supervised-learning