Statistiken und Big Data

5

Intuition (geometrische oder andere) von

Betrachten Sie die elementare Identität der Varianz: Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2Var(X)=E[(X−E[X])2]=...=E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray} Es ist eine einfache algebraische Manipulation der Definition eines zentralen Moments in nicht-zentrale Momente. Es ermöglicht die bequeme Manipulation von Var(X)Var(X)Var(X) in anderen Zusammenhängen. Es ermöglicht auch die Berechnung …

18 variance descriptive-statistics intuition

4

Vergleich zweier Histogramme anhand des Chi-Quadrat-Abstands

Ich möchte zwei Bilder von Gesichtern vergleichen. Ich habe ihre LBP-Histogramme berechnet. Jetzt muss ich diese beiden Histogramme vergleichen und etwas herausfinden, das angibt, wie sehr diese Histogramme gleich sind (0 - 100%). Es gibt viele Möglichkeiten, diese Aufgabe zu lösen, aber die Autoren der LBP-Methode betonen (Gesichtsbeschreibung mit lokalen …

18 chi-squared histogram image-processing

4

Warum schneiden gewöhnliche kleinste Quadrate besser ab als die Poisson-Regression?

Ich versuche, eine Regression zu erstellen, um die Anzahl der Morde in jedem Bezirk einer Stadt zu erklären. Obwohl ich weiß, dass meine Daten einer Poisson-Verteilung entsprechen, habe ich versucht, eine OLS wie diese anzupassen: log(y+1)=α+βX+ϵlog(y+1)=α+βX+ϵlog(y+1) = \alpha + \beta X + \epsilon Dann habe ich (natürlich!) Auch eine Poisson-Regression …

18 regression least-squares poisson-regression

2

Geschwindigkeit, Rechenaufwand von PCA, LASSO, elastisches Netz

Ich versuche, die rechnerische Komplexität / Schätzgeschwindigkeit von drei Gruppen von Methoden für die lineare Regression zu vergleichen, wie sie in Hastie et al. "Elemente des statistischen Lernens" (2. Aufl.), Kapitel 3: Auswahl der Teilmenge Schrumpfmethoden Methoden mit abgeleiteten Eingaberichtungen (PCR, PLS) Der Vergleich kann sehr grob sein, nur um …

18 machine-learning estimation feature-selection algorithms time-complexity

1

Paradox bei der Modellauswahl (AIC, BIC, zu erklären oder vorherzusagen?)

Nachdem ich Galit Shmuelis "To Explain or to Predict" (2010) gelesen habe, wundere ich mich über einen offensichtlichen Widerspruch. Es gibt drei Räumlichkeiten, AIC versus BIC-basierte Modellauswahl (Ende S. 300 - Beginn S. 301): Einfach ausgedrückt, AIC sollte zur Auswahl eines Modells verwendet werden, das zur Vorhersage vorgesehen ist , …

18 forecasting model-selection feature-selection aic bic

1

Zweite Momentmethode, Brownsche Bewegung?

Sei eine Brownsche Standardbewegung. Es sei das Ereignis und sei wobei die Indikatorfunktion bezeichnet. Gibt es so dass für für alle ? Ich vermute, die Antwort lautet ja; Ich habe versucht, mit der Methode des zweiten Moments herumzuspielen, aber nicht viel zu nützen. Kann dies mit der Methode des zweiten …

18 probability self-study moments distributions brownian

4

Erwartung eines Produkts von abhängigen Zufallsvariablen bei

Lassen und , . Was ist die Erwartung von als ?X1∼U[0,1]X1∼U[0,1]X_1 \sim U[0,1]Xi∼U[Xi−1,1]Xi∼U[Xi−1,1]X_i \sim U[X_{i - 1}, 1]i=2,3,...i=2,3,...i = 2, 3,...X1X2⋯XnX1X2⋯XnX_1 X_2 \cdots X_nn→∞n→∞n \rightarrow \infty

18 mathematical-statistics random-variable expected-value

2

Was ist in einem Poisson-Modell der Unterschied zwischen der Verwendung der Zeit als Kovariate oder als Offset?

Ich habe kürzlich herausgefunden, wie man Expositionen über die Zeit modelliert, indem man das Protokoll der (z. B.) Zeit als Offset in einer Poisson-Regression verwendet. Ich habe verstanden, dass der Versatz Zeit als Kovariate mit Koeffizient 1 entspricht. Ich möchte den Unterschied zwischen der Verwendung der Zeit als Versatz oder …

18 poisson-regression predictor offset

5

Was ist die Effektgröße… und warum ist sie überhaupt nützlich?

Ich habe einen statistischen Hintergrund auf Einführungsniveau (vorausgesetzt, ich kenne die mathematische Statistik und die Wahrscheinlichkeit auf einem Bachelor-Niveau (z. B. Wackerly et al., Ross 'Probability) und verfüge über einige Kenntnisse der Maßtheorie). Ich habe vor kurzem angefangen, experimentelles Design und statistische Berichterstattung in der Bildungsstatistik zu betreiben, und war …

18 effect-size group-differences

4

Warum das Aufteilen der Daten in das Trainings- und Test-Set nicht ausreicht

Ich weiß, dass ich die Daten in Trainings- / Testsätze aufteilen muss, um auf die Leistung des Klassifikators zugreifen zu können. Aber dies zu lesen : Bei der Auswertung verschiedener Einstellungen („Hyperparameter“) für Schätzer, z. B. der C-Einstellung, die für eine SVM manuell festgelegt werden muss, besteht weiterhin die Gefahr …

18 machine-learning cross-validation

1

Spickzettel ANOVA Alphabet Suppe & Regressionsäquivalente

Kann ich Hilfe bei diesem vorläufigen (in Bearbeitung befindlichen) Versuch erhalten, mich auf die Äquivalente von ANOVA und REGRESSION zu beziehen? Ich habe versucht, die Konzepte, die Nomenklatur und die Syntax dieser beiden Methoden in Einklang zu bringen. Es gibt viele Posts auf dieser Site über ihre Gemeinsamkeiten, zum Beispiel …

18 regression anova mixed-model

2

Was ist das Problem mit empirischen Prioren?

In der Literatur stolpere ich manchmal über die Bemerkung, dass die Auswahl von Prioren, die von den Daten selbst abhängen (zum Beispiel Zellners G-Prior), aus theoretischer Sicht kritisiert werden kann. Wo genau liegt das Problem, wenn der Prior nicht unabhängig von den Daten gewählt wird?

18 bayesian prior hierarchical-bayesian

2

Sinn machen für die Analyse unabhängiger Komponenten

Ich habe die Frage Sinn der Hauptkomponentenanalyse gesehen und genossen , und jetzt habe ich die gleiche Frage für die unabhängige Komponentenanalyse. Ich meine, ich möchte eine umfassende Frage zu den intuitiven Möglichkeiten zum Verstehen von ICA stellen. Ich möchte verstehen es. Ich möchte den Zweck verstehen. Ich möchte das …

18 intuition ica

3

Schönes Beispiel, wo eine Reihe ohne Einheitswurzel nicht stationär ist?

Ich habe in einem erweiterten Dickey-Fuller-Test mehrmals gesehen, wie Leute die Null zurückweisen und dann behaupten, dass ihre Reihen stationär sind (leider kann ich die Quellen dieser Behauptungen nicht zeigen, aber ich stelle mir vor, dass es hier und da ähnliche Behauptungen gibt die eine oder andere Zeitschrift). Ich behaupte, …

18 time-series unit-root stationarity augmented-dickey-fuller

1

Gibt es eine klare Reihe von Bedingungen, unter denen Lasso, Grat oder elastische Netzlösungspfade monoton sind?

Die Frage, was aus diesem Lasso-Plot (glmnet) zu schließen ist, zeigt Lösungswege für den Lasso-Schätzer, die nicht monoton sind. Das heißt, einige der Cofficients nehmen im absoluten Wert zu, bevor sie schrumpfen. Ich habe diese Modelle auf verschiedene Arten von Datensätzen angewendet und dieses Verhalten noch nie "in freier Wildbahn" …

18 lasso ridge-regression elastic-net