Einheitliche Zufallsvariable als Summe zweier Zufallsvariablen

Entnommen aus Grimmet und Stirzaker :

Zeigen Sie, dass es nicht möglich ist, dass $U=X+Y$ wenn $U$ gleichmäßig auf [0,1] verteilt ist und $X$ und $Y$ unabhängig und gleich verteilt sind. Sie sollten nicht davon ausgehen, dass X und Y kontinuierliche Variablen sind.

Ein einfacher Widerspruchsbeweis genügt für den Fall, dass $X$ , $Y$ diskret angenommen werden, indem argumentiert wird, dass es immer möglich ist, ein $u$ und ein zu finden $u'$ so dass $P(U\leq u+u') \geq P(U\leq u)$ während $P(X+Y \leq u) = P(X+Y \leq u+u')$ .

Dieser Beweis erstreckt sich jedoch nicht auf $X,Y$ absolut stetig oder singulär stetig ist. Hinweise / Kommentare / Kritik?

— rechtekewed
quelle

Hinweis : Charakteristische Funktionen sind Ihre Freunde.

— Kardinal

X und Y sind iid, daher müssen ihre charakteristischen Funktionen identisch sein. Sie müssen die charakteristische Funktion verwenden und nicht die Funktion zur Momentenerzeugung. Es kann nicht garantiert werden, dass die mgf für X existiert. Wenn Sie also anzeigen, dass die mgf eine unmögliche Eigenschaft hat, bedeutet dies nicht, dass es kein solches X gibt. Alle Wohnmobile haben eine charakteristische Funktion. Wenn Sie also zeigen, dass eine unmögliche Eigenschaft vorliegt, gibt es kein solches X.

— Silverfish

Wenn die Verteilungen von

und

irgendwelche Atome haben , sagen Sie, dass

, dann ist

und somit

kann nicht gleichmäßig verteilt werden auf

X

$X$

Y

$Y$

P {X = a} = P {Y = a} = b > 0

$P\{X=a\}=P\{Y=a\} = b > 0$

P {X + Y = 2 a} \geq b^{2} > 0

$P\{X+Y=2a\} \geq b^2 > 0$

X + Y

$X+Y$

[0, 1]

$[0,1]$ . Somit ist es nicht notwendig, den Fall der Verteilungen von

und

mit Atomen zu betrachten.

X

$X$

Y

$Y$

— Dilip Sarwate

Antworten:

Das Ergebnis lässt sich mit einem Bild belegen: Die sichtbaren grauen Bereiche zeigen, dass eine gleichmäßige Verteilung nicht als Summe zweier unabhängiger gleichverteilter Variablen zerlegt werden kann.

Notation

Sei und so, dass eine gleichmäßige Verteilung auf . Dies bedeutet, dass für alle , $X$ $Y$ $X+Y$ $[0,1]$ $0\le a \le b \le 1$

Pr (a < X + Y \leq b) = b - a .

$\Pr(a < X+Y \le b) = b-a.$

Die wesentliche Unterstützung der gemeinsamen Verteilung von und ist daher (denn sonst würde es positive Wahrscheinlichkeit , dass liegt außerhalb ). $X$ $Y$ $[0,1/2]$ $X+Y$ $[0,1]$

Das Bild

Lassen . Betrachten Sie dieses Diagramm, das zeigt, wie Summen von Zufallsvariablen berechnet werden: $0 \lt \epsilon \lt 1/4$

Zahl

Die zugrunde liegende Wahrscheinlichkeitsverteilung ist die gemeinsame für . Die Wahrscheinlichkeit eines Ereignisses ergibt sich aus der Gesamtwahrscheinlichkeit des sich zwischen den Linien erstreckenden Diagonalbandes $(X,Y)$ $a \lt X+Y \le b$ und. Drei solcher Bänder sind gezeigt: von bis , die als kleines blaues Dreieck unten links erscheinen; von zu $x+y=a$ $x+y=b$ $0$ $\epsilon$ $1/2-\epsilon$ , dargestellt als graues Rechteck mit zwei (gelben und grünen) Dreiecken; und von bis , erscheint als kleines rotes Dreieck oben rechts. $1/2+\epsilon$ $1-\epsilon$ $1$

Was das Bild zeigt

Wenn man das untere linke Dreieck in der Figur mit dem unteren linken Quadrat vergleicht und die iid-Annahme für und ausnutzt , ist das klar $X$ $Y$

ϵ = Pr (X + Y \leq ϵ) < Pr (X \leq ϵ) Pr (Y \leq ϵ) = Pr (X \leq ϵ)^{2} .

$\epsilon = \Pr(X+Y \le \epsilon) \lt \Pr(X \le \epsilon)\Pr(Y \le \epsilon) = \Pr(X \le \epsilon)^2.$

Beachten Sie, dass die Ungleichung streng ist: Gleichheit ist nicht möglich, da es eine positive Wahrscheinlichkeit gibt, dass sowohl als auch kleiner als aber trotzdem . $X$ $Y$ $\epsilon$ $X+Y \gt \epsilon$

In ähnlicher Weise wird das rote Dreieck mit dem Quadrat in der oberen rechten Ecke verglichen.

ϵ = Pr (X + Y > 1 - ϵ) < Pr (X > 1 / 2 - ϵ)^{2} .

$\epsilon = \Pr(X+Y \gt 1-\epsilon) \lt \Pr(X \gt 1/2-\epsilon)^2.$

Schließlich ergibt ein Vergleich der beiden gegenüberliegenden Dreiecke oben links und unten rechts mit dem sie enthaltenden diagonalen Band eine weitere strenge Ungleichung.

2 ϵ < 2 Pr (X \leq ϵ) Pr (X > 1 / 2 - ϵ) < Pr (1 / 2 - ϵ < X + Y \leq 1 / 2 + ϵ) = 2 ϵ .

$2\epsilon \lt 2 \Pr(X\le \epsilon)\Pr(X \gt 1/2-\epsilon) \lt \Pr(1/2-\epsilon \lt X+Y \le 1/2+\epsilon) = 2\epsilon.$

Die erste Ungleichung ergibt sich aus den vorherigen beiden (nimm ihre Quadratwurzeln und multipliziere sie), während die zweite die (strikte) Einbeziehung der Dreiecke in das Band beschreibt und die letzte Gleichheit die Gleichförmigkeit von ausdrückt . Die Schlussfolgerung, dass der Widerspruch ist, der beweist, dass und nicht existieren können, QED . $X+Y$ $2\epsilon \lt 2\epsilon$ $X$ $Y$

— whuber
quelle

(+1) Ich mag diesen Ansatz. Als ich meinen Umschlag aus dem Papierkorb holte, konnte ich sehen, dass ich dasselbe Diagramm gezeichnet habe, nur dass ich die gelben und grünen Dreiecke innerhalb des Bandes nicht markiert habe. Ich habe die Ungleichungen für das blaue und das rote Dreieck erhalten. Ich habe mit ihnen und einigen anderen Wahrscheinlichkeiten herumgespielt, aber nie daran gedacht, die Wahrscheinlichkeit des Streifens zu untersuchen, was sich als kritischer Schritt herausstellt. Ich frage mich, welcher Denkprozess diese Einsicht motiviert haben könnte.

— Silverfish

In der Tat, wo @whuber gelbe und grüne Dreiecke hat, habe ich auf Quadrate gezeichnet (ich habe effektiv

in ein Gitter zerlegt ). Mit Blick auf der Stufe , die "beschreibt die (streng) Aufnahme der Dreiecke innerhalb des Bandes",

[0, 0.5]^{2}

$[0, 0.5]^2$

2 Pr (X \leq ϵ) Pr (X > 1 / 2 - ϵ) < Pr (1 / 2 - ϵ < X + Y \leq 1 / 2 + ϵ)

$2 \Pr(X\le \epsilon)\Pr(X \gt 1/2-\epsilon) \lt \Pr(1/2-\epsilon \lt X+Y \le 1/2+\epsilon)$ Ich frage mich, ob dies bei Quadraten, die das Band bedecken, geometrisch natürlicher wäre als bei Dreiecken.

— Silverfish

@Silver Ich wurde an eine Analyse der Summen von Gleichverteilungen erinnert, die ich vor ein paar Jahren gepostet habe. Das schlug vor, die Summe

geometrisch zu visualisieren . Es war sofort ersichtlich , dass eine Menge Wahrscheinlichkeit nahe den Ecken konzentriert werden mußte

und

, um für die Summe gleichförmig zu sein und eine relativ geringe Wahrscheinlichkeit nahe der Mitte diagonal zu sein

. Das führte zu dem Diagramm, das ich in Mathematica neu gezeichnet habe .

X + Y

$X+Y$

(0, 0)

$(0,0)$

(1 / 2, 1 / 2)

$(1/2,1/2)$

X + Y = 1 / 2

$X+Y=1/2$ Zu diesem Zeitpunkt schrieb sich die Antwort von selbst. Ja, die Verwendung von Quadraten im mittleren Bereich ist möglicherweise besser.

— Whuber

Vielen Dank! "Beachten Sie, dass die Ungleichung streng ist: Gleichheit ist nicht möglich, da es eine positive Wahrscheinlichkeit gibt, dass entweder

oder

kleiner als

aber dennoch

." Ich bin mir nicht sicher, ob ich dem folge. Es scheint mir das Ziel zu sein,

. Erfordert dies nicht eine positive Wahrscheinlichkeit für ein Ereignis

in dem sowohl

als auch

X

$X$

Y

$Y$

ϵ

$\epsilon$

X + Y > ϵ

$X+Y \gt \epsilon$

Pr (X + Y \leq ϵ) < Pr (X \leq ϵ \cap Y \leq ϵ)

$\Pr(X+Y \le \epsilon) \lt \Pr(X \le \epsilon \cap Y \le \epsilon)$

A

$A$

X

$X$

kleiner oder gleich

und dennoch

Y

$Y$

ϵ

$\epsilon$

X + Y > ϵ

$X + Y > \epsilon$ ? Es ist das "eine von" gegen "beide von", über die ich schwanke.

— Silverfish

@ Silberfisch Danke; Ich habe das nicht so ausgedrückt, wie ich es beabsichtigt hatte. Sie haben Recht: Die Sprache soll im Wesentlichen den Teil eines kleinen Quadrats beschreiben, der sich nicht innerhalb des Dreiecks befindet.

— Whuber

Ich habe versucht, einen Beweis zu finden, ohne die charakteristischen Funktionen zu berücksichtigen. Übermäßige Kurtosis macht den Trick. Hier ist die zweizeilige Antwort: da und iid sind. Dann impliziert was ein Widerspruch zu $\text{Kurt}(U) = \text{Kurt}(X + Y) = \text{Kurt}(X) / 2$ $X$ $Y$ $\text{Kurt}(U) = -1.2$ $\text{Kurt}(X) = -2.4$ $\text{Kurt}(X) \geq -2$ for any random variable.

$X$ $Y$ $\mathbb{E}(U)=0.5$ $\text{Var}(U)=\frac{1}{12}$ . If $X$ and $Y$ are identically distributed then we have:

E (X + Y) = E (X) + E (Y) = 2 E (X) = 0.5

$\mathbb{E}(X + Y) = \mathbb{E}(X) + \mathbb{E}(Y) = 2 \mathbb{E}(X)= 0.5$

So $\mathbb{E}(X) = 0.25$ . For the variance we additionally need to use independence to apply:

Var (X + Y) = Var (X) + Var (Y) = 2 Var (X) = \frac{1}{12}

$\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y) = 2 \text{Var}(X) = \frac{1}{12}$

Hence $\text{Var}(X) = \frac{1}{24}$ and $\sigma_X = \frac{1}{2\sqrt{6}} \approx 0.204$ . Wow! That is a lot of variation for a random variable whose support ranges from 0 to 0.5. But we should have expected that, since the standard deviation isn't going to scale in the same way that the mean did.

Now, what's the largest standard deviation that a random variable can have if the smallest value it can take is 0, the largest value it can take is 0.5, and the mean is 0.25? Collecting all the probability at two point masses on the extremes, 0.25 away from the mean, would clearly give a standard deviation of 0.25. So our $\sigma_X$ is large but not impossible. (I hoped to show that this implied too much probability lay in the tails for $X + Y$ to be uniform, but I couldn't get anywhere with that on the back of an envelope.)

Second moment considerations almost put an impossible constraint on $X$ so let's consider higher moments. What about Pearson's moment coefficient of skewness, $\gamma_1 = \frac{\mathbb{E}(X - \mu_X)^3}{\sigma_X^3} = \frac{\kappa_3}{\kappa_2^{3/2}}$ ? This exists since the central moments exist and $\sigma_X \neq 0$ . It is helpful to know some properties of the cumulants, in particular applying independence and then identical distribution gives:

κ_{i} (U) = κ_{i} (X + Y) = κ_{i} (X) + κ_{i} (Y) = 2 κ_{i} (X)

$\kappa_i(U) = \kappa_i(X + Y) = \kappa_i(X) + \kappa_i(Y) = 2\kappa_i(X)$

This additivity property is precisely the generalisation of how we dealt with the mean and variance above - indeed, the first and second cumulants are just $\kappa_1 = \mu$ and $\kappa_2 = \sigma^2$ .

Then $\kappa_3(U) = 2\kappa_3(X)$ and $\big(\kappa_2(U)\big)^{3/2} = \big(2\kappa_2(X)\big)^{3/2} = 2^{3/2} \big(\kappa_2(X)\big)^{3/2}$ . The fraction for $\gamma_1$ cancels to yield $\text{Skew}(U) = \text{Skew}(X + Y) = \text{Skew}(X) / \sqrt{2}$ . Since the uniform distribution has zero skewness, so does $X$ , but I can't see how a contradiction arises from this restriction.

So instead, let's try the excess kurtosis, $\gamma_2 = \frac{\kappa_4}{\kappa_2^2} = \frac{\mathbb{E}(X - \mu_X)^4}{\sigma_X^4} - 3$ . By a similar argument (this question is self-study, so try it!), we can show this exists and obeys:

Kurt (U) = Kurt (X + Y) = Kurt (X) / 2

$\text{Kurt}(U) = \text{Kurt}(X + Y) = \text{Kurt}(X) / 2$

The uniform distribution has excess kurtosis $-1.2$ so we require $X$ to have excess kurtosis $-2.4$ . But the smallest possible excess kurtosis is $-2$ , which is achieved by the $\text{Binomial}(1, \frac{1}{2})$ Bernoulli distribution.

— Silverfish
quelle

(+1) This is a quite clever approach, which was new to me. Thanks. Note that some of your analysis could have been streamlined by considering a uniform centered at zero. (The equivalence of the problem is immediate.) That would have immediately told you that considering skew was a dead-end.

— cardinal

@cardinal: I knew the skew was a dead-end before I worked on it. The purpose was expository: it's a self-study question so I didn't want to solve it in full! Rather I wanted to leave a hint on how to deal with the next level up...

— Silverfish

@cardinal: I was in two minds whether to center or not. I did back-of-envelope calculations more conveniently, but in the final analysis we just need (1) a simple case of the general result that

K u r t (X_{1} + . . . + X_{n}) = \frac{1}{n} K u r t (X)

$Kurt(X_1 + ... + X_n) = \frac{1}{n}Kurt(X)$ for iid

X_{i}

$X_i$ , (2) that

K u r t (U) = - 1.2

$Kurt(U) = -1.2$ for any uniform distribution, and (3)

K u r t (X)

$Kurt(X)$ exists since

X

$X$ is bounded and

σ_{X} \neq 0

$\sigma_X \neq 0$ (which is trivial, else

σ_{U} = 0

$\sigma_U = 0$ ). So none of the key results actually required centering, though bits may have looked less ugly!

— Silverfish

Yes, the word "streamlined" was carefully chosen. :-) I did not intend my comment to be read as criticism of your exposition. Cheers.

— cardinal

@cardinal Incidentally, variance considerations alone almost worked, but the uniform isn't quite spread out enough. With a bit more probability mass nearer the extremes, e.g.

f_{T} (t) = 12 t^{2}

$f_T(t)=12t^2$ on [-0.5, 0.5], then

V a r (T) = .15

$Var(T)=.15$ and if

T = X_{1} + X_{2}

$T = X_1 + X_2$ then

σ_{X} = \sqrt{.15 / 2} \approx 0.27 > 0.25

$\sigma_X = \sqrt{.15/2} \approx 0.27 > 0.25$ which is impossible as

X

$X$ is bounded by -0.25 and 0.25. Of course, you will see immediately how this relates to the present example! I wonder if the approach generalises, I'm sure other bounded RVs can't be decomposed into sums but require even higher moments investigated to find the contradiction.

— Silverfish