Statistiken und Big Data

Wir hatten einige Diskussionen über die Nützlichkeit von Pooled-OLS- und RE-Schätzern im Vergleich zu FE. Soweit ich das beurteilen kann, handelt es sich bei der Pooled OLS-Schätzung lediglich um eine OLS-Technik, die mit Panel-Daten ausgeführt wird. Daher werden alle individuell spezifischen Effekte vollständig ignoriert. Aus diesem Grund werden viele Grundannahmen …

8 panel-data  random-effects-model  fixed-effects-model  pooling 

Laut Lee und Little 2017 wird bei Verwendung von Propensity Score (PS) -Methoden die Gewichtung der Gewinnchancen den durchschnittlichen Behandlungseffekt auf die behandelte Person (ATT) erzeugen, während die Verwendung der Unterklassifizierung und Gewichtung nach der inversen Wahrscheinlichkeit der Behandlung (IPTW) zu der Der Effekt wird auf den durchschnittlichen Behandlungseffekt auf …

8 propensity-scores  difference-in-difference  treatment-effect 

Betrachten Sie ANOVA mit wiederholten AMessungen (RM-ANOVA) mit einem Faktor innerhalb des Subjekts und mehreren Messungen pro Subjekt für jede Stufe von A. Es ist eng verwandt mit der Zwei-Wege-ANOVA mit zwei Faktoren: Aund subject. Sie verwenden identische Zersetzung der Summe der Quadrate in vier Teile: A, subject, A⋅subject, und …

8 r  anova  repeated-measures 

Ich bin auf eine Fehlermetrik gestoßen, mit der der Rekonstruktionsfehler eines Modells quantifiziert wurde: wobei der te Datenpunkt ist, die Modellschätzung des ten Datenpunkts ist und der Mittelwert aller Datenpunkte ist. Der Zähler ist der quadratische Gesamtfehler des Modells, und der Nenner ist die quadratische Abweichung vom Mittelwert der Daten. …

8 terminology  error  model-evaluation 

Betrachten Sie das folgende einfache Beispiel: library( rms ) library( lme4 ) params <- structure(list(Ns = c(181L, 191L, 147L, 190L, 243L, 164L, 83L, 383L, 134L, 238L, 528L, 288L, 214L, 502L, 307L, 302L, 199L, 156L, 183L), means = c(0.09, 0.05, 0.03, 0.06, 0.07, 0.07, 0.1, 0.1, 0.06, 0.11, 0.1, 0.11, 0.07, …

8 logistic  mixed-model  generalized-linear-model  glmm  lme4-nlme 

Richtlinien- und Wertiterationsalgorithmen können verwendet werden, um Markov-Entscheidungsprozessprobleme zu lösen. Es fällt mir schwer, die notwendigen Bedingungen für die Konvergenz zu verstehen. Wenn sich die optimale Richtlinie in zwei Schritten (dh während der Iterationen i und i + 1 ) nicht ändert , kann daraus geschlossen werden, dass die Algorithmen …

8 algorithms  markov-process  convergence 

Motivation Leeb & Pötscher (2005) schreiben im Zusammenhang mit der Inferenz nach der Modellauswahl : Obwohl seit langem bekannt ist, dass die Einheitlichkeit (zumindest lokal) der Parameter ein wichtiges Thema bei der asymptotischen Analyse ist, wurde diese Lektion in der täglichen Praxis der ökonometrischen und statistischen Theorie oft vergessen, wo …

8 mathematical-statistics  convergence  asymptotics  estimators 

Ich habe Probleme, online eine Ressource zu finden, die die erwartete Fisher-Informationsmatrix für die T-Verteilung des univariaten Schülers ableitet. Kennt jemand eine solche Ressource? Da keine Ressource vorhanden ist, die die erwartete Fisher-Informationsmatrix für die T-Verteilung ableitet, versuche ich, sie selbst abzuleiten, stecke aber fest. Hier ist meine bisherige Arbeit: …

8 probability  t-distribution  fisher-information 

Ich habe einen Datensatz, der sich mit Einwanderungsanträgen und Visumannahmen (Erteilung von Visa) befasst. Die Preise werden für "akzeptiert" und "abgelehnt" von Visumanträgen berechnet. Der Datensatz enthält jedoch auch Werte für Fälle, die geschlossen wurden. Normalerweise ist dies der Fall, wenn der Einwanderer entweder nicht mehr zu Terminen erscheint, woanders …

8 missing-data 

Ich kann mich nicht mit dieser Eigenschaft stationärer Reihen und der Autokorrelationsfunktion auseinandersetzen. Das muss ich beweisen ∑h=1n−1ρ^(h)=−12∑h=1n−1ρ^(h)=−12\begin{align} \sum_{h=1}^{n-1}\hat\rho(h)=-\frac{1}{2} \end{align} Wobei und die Autokovarianzfunktion istγ(h)ρ^(h)=γ^(h)γ^(0)ρ^(h)=γ^(h)γ^(0)\hat\rho(h)=\displaystyle\frac{\hat\gamma(h)}{\hat\gamma(0)}γ^(h)γ^(h)\hat\gamma(h) γ^(h)=1n∑t=1n−h(Xt−X¯)(Xt+h−X¯)γ^(h)=1n∑t=1n−h(Xt−X¯)(Xt+h−X¯)\begin{align} \hat\gamma(h) = \frac{1}{n}\sum_{t=1}^{n-h}(X_t-\bar{X})(X_{t+h}-\bar{X}) \end{align} Hoffentlich kann mir jemand mit einem Beweis helfen oder mich zumindest in die richtige Richtung weisen.

8 time-series  autocorrelation  stationarity 

Ich habe das folgende Setup für ein Forschungsprojekt im Bereich Finanzen / Maschinelles Lernen an meiner Universität: Ich wende ein (Deep) Neural Network (MLP) mit der folgenden Struktur in Keras / Theano an, um überdurchschnittliche Aktien (Label 1) von unterdurchschnittlichen Aktien zu unterscheiden (Label 1). Etikett 0). Erstens verwende ich …

8 machine-learning  neural-networks  deep-learning  regularization  dropout 

Wenn meine Wahrscheinlichkeit die Form einer Beta-Verteilung hat und ich Jeffreys 'Prior für seine Parameter verwenden möchte, welche Form hat der Prior? Für einige Distributionen ist es ziemlich einfach zu berechnen. Im Binomialfall ergibt die Erwartung der zweiten Ableitung beispielsweise eindeutig . Aber wenn die Wahrscheinlichkeit selbst bereits eine Beta-Form …

8 beta-distribution  jeffreys-prior 

Eine grundlegende Eigenschaft der Regression mit zufälligen Effekten besteht darin, dass die zufälligen Abschnittsschätzungen in Abhängigkeit von der relativen Varianz jeder Schätzung in Richtung des Gesamtmittelwerts der Antwort "geschrumpft" werden. U.^j= ρjy¯j+ ( 1 - ρj) y¯U.^j=ρjy¯j+(1- -ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y} wobeiρj= τ2/ ( τ2+ σ2/ nj) .ρj=τ2/.(τ2+σ2/.nj).\rho_j …

8 mixed-model  regularization  shrinkage 

Der Artikel zeigt für jeweils 100 Frauen, die eine bestimmte Verhütungsmethode anwenden, die Anzahl der ungeplanten Schwangerschaften im Zeitverlauf. https://www.nytimes.com/interactive/2014/09/14/sunday-review/unplanned-pregnancies.html?_r=0 Insbesondere am Ende des Artikels heißt es: Die Zahlen werden wie folgt berechnet: P (nicht schwanger nach Jahr N)= P (nicht schwanger nach Jahr 1 )N.P.(Nicht schwanger nach dem Jahr …

8 regression  independence  statistics-in-media 

Kann jemand eine intuitive Vorstellung davon geben, warum es besser ist, eine kleinere Beta zu haben? Für LASSO kann ich verstehen, dass es hier eine Feature-Auswahlkomponente gibt. Weniger Funktionen machen das Modell einfacher und daher weniger wahrscheinlich, dass es überpasst. Für den Grat bleiben jedoch alle Merkmale (Faktoren) erhalten. Nur …

8 regression  lasso  ridge-regression  shrinkage