Wenn IID sind, dann berechne , wobei


14

Frage

Wenn IID sind, dann berechne , wobei .X1,,XnN(μ,1)E(X1T)T=iXi


Versuch : Bitte überprüfen Sie, ob das unten stehende korrekt ist.

Nehmen wir an, wir nehmen die Summe dieser bedingten Erwartungen so, dass Dies bedeutet, dass jedes da IID sind.

iE(XiT)=E(iXiT)=T.
E(XiT)=TnX1,,Xn

Somit ist . Ist es richtig?E(X1T)=Tn


2
Die Xi ‚s sind nicht iid der Bedingung T , sondern haben eine austauschbare gemeinsame Verteilung. Dies impliziert, dass ihre bedingten Erwartungen alle gleich sind (bis T/n ).
Jarle Tufto

@JarleTufto: Was meinst du mit "austauschbarer gemeinsamer Verteilung"? Gemeinsame Verteilung von Xi und T ?
Lernen

2
Dies bedeutet, dass die gemeinsame Verteilung von X1,X2,X3 dieselbe ist wie die von X2,X3,X1 (und allen anderen Permutationen). Siehe en.wikipedia.org/wiki/Exchangeable_random_variables . Oder siehe @whubers Antwort!
Jarle Tufto

2
Insbesondere ist die Antwort unabhängig von der Verteilung von X1,,Xn .
StubbornAtom

Antworten:


11

Die Idee ist richtig - aber es geht darum, sie etwas strenger auszudrücken. Ich werde mich daher auf die Notation konzentrieren und das Wesentliche der Idee herausstellen.


Beginnen wir mit der Idee der Austauschbarkeit:

Eine Zufallsvariable X=(X1,X2,,Xn) ist austauschbar, wenn die Verteilungen der permutierten Variablen Xσ=(Xσ(1),Xσ(2),,Xσ(n)) sind für jede mögliche Permutation σ .

Offensichtlich iid impliziert austauschbar.

Als eine Frage der Notation, schreibt Xσi=Xσ(i) für die ith Komponente von Xσ und läßt

Tσ=i=1nXσi=i=1nXi=T.

Sei j ein beliebiger Index und sei σ eine Permutation der Indizes, die 1 zu j=σ(1). (Ein solches σ existiert, weil man immer nur 1 und j. tauschen kann . ) Die Austauschbarkeit von X impliziert

E[X1T]=E[Xσ1Tσ]=E[XjT],

weil wir (in der ersten Ungleichung) lediglich X durch den gleichverteilten Vektor Xσ. Das ist der springende Punkt.

Folglich

T=E[TT]=E[i=1nXiT]=i=1nE[XiT]=i=1nE[X1T]=nE[X1T],

woher

E[X1T]=1nT.


4

Dies ist kein Beweis (und +1 für @ whubers Antwort), aber es ist eine geometrische Methode, um eine Vorstellung davon zu erhalten, warum E(X1|T)=T/n eine vernünftige Antwort ist.

Let X=(X1,,Xn)T und 1=(1,,1)T , um T=1TX . Wir konditionieren dann für das Ereignis, dass 1TX=t für einige tR , also ist dies wie das Zeichnen von multivariaten Gaußschen, die auf Rn aber es werden nur diejenigen betrachtet, die im affinen Raum { x R enden{xRn:1Tx=t} . Dann wollen wir den Durchschnitt derx1 Koordinaten der Punkte kennen, die in diesem affinen Raum landen (egal, dass es sich um eine Teilmenge mit dem Maß Null handelt).

Wir kennen

XN(μ1,I)
, haben also einen sphärischen Gaußschen Wert mit einem konstanten Mittelwertvektor und der Mittelwertvektor μ1 liegt auf der gleichen Linie wie der Normalvektor der Hyperebene xT1=0 .

Dies gibt uns eine Situation wie das folgende Bild: enter image description here

Die Schlüsselidee: Stellen Sie sich zunächst die Dichte über dem affinen Unterraum Ht:={x:xT1=t} . Die Dichte von X ist symmetrisch um x1=x2 da E(X)span 1 . Die Dichte ist auch auf Ht symmetrisch, da Ht auch über dieselbe Linie symmetrisch ist, und der Punkt, um den es symmetrisch ist, ist der Schnittpunkt der Linien x1+x2=t undx1=x2 . Dies geschieht fürx=(t/2,t/2) .

To picture E(X1|T) we can imagine sampling over and over, and then whenever we get a point in Ht we take just the x1 coordinate and save that. From the symmetry of the density on Ht the distribution of the x1 coordinates will also be symmetric, and it'll have the same center point of t/2. The mean of a symmetric distribution is the central point of symmetry so this means E(X1|T)=T/2, and that E(X1|T)=E(X2|T) since X1 and X2 can be excahnged without affecting anything.

In higher dimensions this gets hard (or impossible) to exactly visualize, but the same idea applies: we've got a spherical Gaussian with a mean in the span of 1, and we're looking at an affine subspace that's perpendicular to that. The balance point of the distribution on the subspace will still be the intersection of span 1 and {x:xT1=t} which is at x=(t/n,,t/n), and the density is still symmetric so this balance point is again the mean.

Again, that's not a proof, but I think it gives a decent idea of why you'd expect this behavior in the first place.


Beyond this, as some such as @StubbornAtom have noted, this doesn't actually require X to be Gaussian. In 2-D, note that if X is exchangeable then f(x1,x2)=f(x2,x1) (more generally, f(x)=f(xσ)) so f must be symmetric over the line x1=x2. We also have E(X)span 1 so everything I said regarding the "key idea" in the first picture still exactly holds. Here's an example where the Xi are iid from a Gaussian mixture model. All the lines have the same meaning as before.

enter image description here


1

I think your answer is right, although I'm not entirely sure about the killer line in your proof, about it being true "because they are i.i.d". A more wordy way to the same solution is as follows:

Think about what E(xi|T) actually means. You know that you have a sample with N readings and that their mean is T. What this actually means, is that now, the underlying distribution they were sampled from no longer matters (you'll notice you at no point used the fact it was sampled from a Gaussian in your proof).

E(xi|T) is the answer to the question, if you sampled from your sample, with replacement many times, what would be the average you obtained. This is the sum over all the possible values, multiplied by their probability, or Ni=11Nxi which equals T.


1
Note that the xi|T can't be i.i.d., as they are constrained to sum to T. If you know n1 of them, you know the nth one too.
jbowman

yes, but I did something more subtle, I said if you sampled multiple times with replacement, each sample would be an i.i.d sample from a discrete distribution.
gazza89

Sorry! Misplaced the comment, it should have been to the OP. It was meant in reference to the statement "It means that each E(XiT)=Tn since X1,,Xn are IID."
jbowman
Durch die Nutzung unserer Website bestätigen Sie, dass Sie unsere Cookie-Richtlinie und Datenschutzrichtlinie gelesen und verstanden haben.
Licensed under cc by-sa 3.0 with attribution required.