Statistiken und Big Data

Wenn ich zwei verschiedene symmetrische (in Bezug auf den Median) Verteilungen und , ist der Unterschied auch eine symmetrische (in Bezug auf den Median) Verteilung?Y X - Y.XXXYYYX−YX−YX-Y

9 distributions  median 

Wenn , finden Sie die Verteilung von Y = 2 X.X∼C(0,1)X∼C(0,1)X\sim\mathcal C(0,1) .Y=2X1−X2Y=2X1−X2Y=\frac{2X}{1-X^2} Wir haben FY(y)=Pr(Y≤y)FY(y)=Pr(Y≤y)F_Y(y)=\mathrm{Pr}(Y\le y) =Pr(2X1−X2≤y)=Pr(2X1−X2≤y)\qquad\qquad\qquad=\mathrm{Pr}\left(\frac{2X}{1-X^2}\le y\right) =⎧⎩⎨⎪⎪⎪⎪⎪⎪Pr(X∈(−∞,−1−1+y2√y])+Pr(X∈(−1,−1+1+y2√y]),ify&gt;0Pr(X∈(−1,−1+1+y2√y])+Pr(X∈(1,−1−1+y2√y]),ify&lt;0={Pr(X∈(−∞,−1−1+y2y])+Pr(X∈(−1,−1+1+y2y]),ify&gt;0Pr(X∈(−1,−1+1+y2y])+Pr(X∈(1,−1−1+y2y]),ify&lt;0\qquad\qquad=\begin{cases} \mathrm{Pr}\left(X\in\left(-\infty,\frac{-1-\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y>0\\ \mathrm{Pr}\left(X\in\left(-1,\frac{-1+\sqrt{1+y^2}}{y}\right]\right)+\mathrm{Pr}\left(X\in\left(1,\frac{-1-\sqrt{1+y^2}}{y}\right]\right),\text{if}\quad y<0 \end{cases} Ich frage mich, ob die obige Fallunterscheidung richtig ist oder nicht. Auf der anderen Seite scheint das Folgende eine einfachere Methode zu sein: Wir können …

9 self-study  distributions  mathematical-statistics  random-variable 

In dem Artikel Deep Learning und das Prinzip des Informationsengpasses geben die Autoren in Abschnitt II A) Folgendes an: Einzelne Neuronen klassifizieren nur linear trennbare Eingaben, da sie nur Hyperebenen in ihrem Eingaberaum implementieren können . Hyperebenen können Daten optimal klassifizieren, wenn die Eingaben bedingt unabhängig sind.u=wh+bu=wh+bu = wh+b Um …

9 bayesian  neural-networks  information-theory 

Ich hatte also einen Wahrscheinlichkeitstest und konnte diese Frage nicht wirklich beantworten. Es hat nur so etwas gefragt: "Wenn man bedenkt, dass eine Zufallsvariable ist, 0 , benutze die richtige Ungleichung, um zu beweisen, was höher oder gleich ist, E (X ^ 2) ^ 3 oder E (X ^ 3) …

9 probability  self-study  probability-inequalities 

Frage 1: Gibt es gemeinsame oder akzeptierte Methoden für den Umgang mit instationären Umgebungen beim Reinforcement-Lernen im Allgemeinen? F2: In meiner Gridworld ändert sich die Belohnungsfunktion, wenn ein Staat besucht wird. In jeder Episode werden die Belohnungen auf den Ausgangszustand zurückgesetzt. Ich möchte nur, dass mein Agent lernt: "Gehen Sie …

9 markov-process  reinforcement-learning  stationarity  q-learning 

Casella und Berger geben die Invarianzeigenschaft des ML-Schätzers wie folgt an: Es scheint mir jedoch, dass sie die "Wahrscheinlichkeit" von ηη\eta völlig ad hoc und unsinnig definieren: Wenn ich Grundregeln der Wahrscheinlichkeitstheorie auf den einfachen Fall anwende, in dem , erhalte ich stattdessen Folgendes: L ( η | x ) …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

Ist impliziert die Unabhängigkeit von X und Y ?C o v ( f( X.) , Y.) = 0∀f( . )C.Öv(f(X.),Y.)=0∀f(.)\mathbb{Cov} \left(f(X),Y\right) = 0 \; \forall \; f(.)X.X.XY.Y.Y Ich bin nur mit der folgenden Definition der Unabhängigkeit zwischen bekannt und Y .X.X.XY.Y.Y fx,y(x,y)=fx(x)fy(y)fx,y(x,y)=fx(x)fy(y) f_{x,y}(x,y) = f_x(x)f_y(y)

9 random-variable  independence 

Ich möchte Datenpunkte so klassifizieren, dass sie entweder ein komplexeres Modell oder kein komplexeres Modell benötigen. Mein derzeitiger Gedanke ist es, alle Daten an ein einfaches lineares Modell anzupassen und die Größe der Residuen zu beobachten, um diese Klassifizierung vorzunehmen. Ich habe dann etwas über die Verzerrungs- und Varianzbeiträge zum …

9 regression  multiple-regression  residuals  bias-variance-tradeoff 

In 'Die Elemente des statistischen Lernens' wird der Ausdruck für die Bias-Varianz-Zerlegung des linearen Modells gegeben als wobei die eigentliche Zielfunktion ist, die Varianz des Zufallsfehlers im Modell und ist der lineare Schätzer von .f ( x 0 ) σ 2 ε y = f ( x ) + εE.r …

9 regression  linear-model  bias-variance-tradeoff 

Sei unabhängige und identisch verteilte standardmäßige einheitliche Zufallsvariablen.X.1, … , X.n∼ U.( 0 , 1 )X1,…,Xn∼U(0,1)X_1,\dots,X_n \sim U(0,1) Lassen Y.n= ∑ichnX.2ichIch suche: E [ Y.n- -- -√]]Let Yn=∑inXi2I seek: E[Yn]\text{Let }\quad Y_n=\sum_i^nX_i^2 \quad \quad \text{I seek: } \quad \mathbb{E}\big[\sqrt{Y_n } \big] Die Erwartung von Y.nYnY_n ist einfach: E [ X.2]]E …

9 probability  expected-value  uniform  central-limit-theorem  mgf 

Sei IID und . E \ left [\ frac {X_i} {\ bar {X}} \ right] = \? Es scheint offensichtlich, aber ich habe Probleme, es formal abzuleiten.X.ichX.ichX_iX.¯= ∑ni = 1X.ichX.¯=∑ich=1nX.ich\bar{X} = \sum_{i=1}^{n} X_iE.[ X.ichX.¯] =? E.[X.ichX.¯]]= ? E\left[\frac{X_i}{\bar{X}}\right] = \ ?

9 probability  random-variable  expected-value 

Ich habe einen Datensatz mit ungefähr 5.000 häufig korrelierten Merkmalen / Kovariaten und einer binären Antwort. Die Daten wurden mir gegeben, ich habe sie nicht gesammelt. Ich benutze Lasso und Gradientenverstärkung, um Modelle zu bauen. Ich verwende iterierte, verschachtelte Kreuzvalidierung. Ich berichte über Lassos größte (absolute) 40 Koeffizienten und die …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

Ich habe einige Fragen zur Spezifikation und Interpretation von GLMMs. 3 Fragen sind definitiv statistisch und 2 beziehen sich genauer auf R. Ich poste hier, weil ich letztendlich denke, dass das Problem die Interpretation der GLMM-Ergebnisse ist. Ich versuche gerade, ein GLMM zu montieren. Ich verwende US-Volkszählungsdaten aus der Longitudinal …

9 r  lme4-nlme  poisson-distribution  negative-binomial  glmm 

Ein interessantes Gegenbeispiel finden Sie beispielsweise unter https://en.wikipedia.org/wiki/Subindependence . Die eigentliche Frage ist jedoch: Gibt es eine Möglichkeit, den Zustand zu stärken, damit die Unabhängigkeit folgt? Gibt es zum Beispiel einen Satz von Funktionen so dass, wenn E g i ( X ) g j ( Y ) = E …

9 probability  mathematical-statistics  references  random-variable  independence 

Betrachten Sie das Diagramm unten, in dem ich Daten wie folgt simuliert habe. Wir betrachten ein binäres Ergebnis für das die wahre Wahrscheinlichkeit, 1 zu sein, durch die schwarze Linie angezeigt wird. Die funktionale Beziehung zwischen einer Kovariate und ist ein Polynom 3. Ordnung mit logistischer Verknüpfung (also in doppelter …

9 regression  logistic  bayesian  confidence-interval  credible-interval