Brain-Teaser: Was ist die erwartete Länge einer iid-Sequenz, die bei einer gleichmäßigen [0,1] -Verteilung monoton ansteigt?

Dies ist eine Interviewfrage für eine quantitative Analystenposition, über die hier berichtet wird . Angenommen, wir zeichnen aus einer gleichmäßigen $[0,1]$ -Verteilung und die Ziehungen lauten: Wie lang ist die erwartete monoton ansteigende Verteilung? Das heißt, wir hören auf zu zeichnen, wenn die aktuelle Auslosung kleiner oder gleich der vorherigen Auslosung ist.

Pr (length = 1) = \int_{0}^{1} \int_{0}^{x_{1}} d x_{2} d x_{1} = 1 / 2

$\Pr(\text{length} = 1) = \int_0^1 \int_0^{x_1} \mathrm{d}x_2\, \mathrm{d}x_1 = 1/2$

Pr (length = 2) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{0}^{x_{2}} d x_{3} d x_{2} d x_{1} = 1 / 3

$\Pr(\text{length} = 2) = \int_0^1 \int_{x_1}^1 \int_0^{x_2} \mathrm{d}x_3 \, \mathrm{d}x_2 \, \mathrm{d}x_1 = 1/3$

Pr (length = 3) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{x_{2}}^{1} \int_{0}^{x_{3}} d x_{4} d x_{3} d x_{2} d x_{1} = 1 / 8

$\Pr(\text{length} = 3) = \int_0^1 \int_{x_1}^1 \int_{x_2}^1 \int_0^{x_3} \mathrm{d}x_4\, \mathrm{d}x_3\, \mathrm{d}x_2\, \mathrm{d}x_1 = 1/8$

Aber ich finde es immer schwieriger, diese verschachtelten Integrale zu berechnen, und ich habe nicht den "Trick", zu zu verallgemeinern . Ich weiß, die endgültige Antwort ist strukturiert. $\Pr(\text{length} = n)$

E (length) = \sum_{n = 1}^{\infty} n Pr (length = n)

$\mathbb E(\text{length}) = \sum_{n=1}^{\infty}n\Pr(\text{length} = n)$

Irgendwelche Ideen zur Beantwortung dieser Frage?

— Amazonisch
quelle

Antworten:

Hier einige allgemeine Hinweise zur Lösung dieser Frage:

Sie haben eine Folge von kontinuierlichen IID-Zufallsvariablen, was bedeutet, dass sie austauschbar sind . Was bedeutet dies für die Wahrscheinlichkeit, eine bestimmte Reihenfolge für die ersten Werte zu erhalten? Wie groß ist die Wahrscheinlichkeit, dass die Reihenfolge für die ersten Werte steigt ? Es ist möglich, dies herauszufinden, ohne die Verteilung der zugrunde liegenden Zufallsvariablen zu integrieren. Wenn Sie dies gut machen, können Sie eine Antwort ableiten, ohne von einer gleichmäßigen Verteilung ausgehen zu müssen, dh Sie erhalten eine Antwort, die für austauschbare Folgen kontinuierlicher Zufallsvariablen gilt. $n$ $n$

Hier ist die vollständige Lösung ( schauen Sie nicht, ob Sie das selbst herausfinden sollen ):

Sei Ihre Folge von unabhängigen kontinuierlichen Zufallsvariablen, und sei ist die Anzahl ansteigender Elemente am Anfang der Sequenz. Da es sich um fortlaufend austauschbare Zufallsvariablen handelt, sind sie mit ziemlicher Sicherheit ungleich und jede Reihenfolge ist gleich wahrscheinlich. Wir haben also: (Beachten Sie, dass dieses Ergebnis für jede IID-Sequenz kontinuierlicher Zufallsvariablen gilt; sie müssen nicht gleichmäßig verteilt sein.) Die Zufallsvariable hat also eine Wahrscheinlichkeitsmassenfunktion $U_1, U_2, U_3, \cdots \sim \text{IID Continuous Dist}$ $N \equiv \max \{ n \in \mathbb{N} | U_1 < U_2 < \cdots < U_n \}$
$P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n}) = \frac{1}{n!} .$ $\mathbb{P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n) = \frac{1}{n!}.$ $N$ $p_{N} (n) = P (N = n) = \frac{1}{n!} - \frac{1}{(n + 1)!} = \frac{n}{(n + 1)!} .$ $p_N(n) = \mathbb{P}(N=n) = \frac{1}{n!} - \frac{1}{(n+1)!} = \frac{n}{(n+1)!}.$ Sie werden feststellen, dass dieses Ergebnis mit den Werten übereinstimmt, die Sie mithilfe der Integration über die zugrunde liegenden Werte berechnet haben. (Dieser Teil wird für die Lösung nicht benötigt; er ist der Vollständigkeit halber enthalten.) Unter Verwendung einer bekannten Regel für den erwarteten Wert einer nicht negativen Zufallsvariablen haben wir: Beachten Sie erneut, dass in unserer Arbeit nichts die zugrunde liegende gleichmäßige Verteilung verwendet hat. Daher ist dies ein allgemeines Ergebnis, das für jede austauschbare Folge kontinuierlicher Zufallsvariablen gilt. $E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n) = \sum_{n = 1}^{\infty} \frac{1}{n!} = e - 1 = 1.718282.$ $\mathbb{E}(N) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n) = \sum_{n=1}^\infty \frac{1}{n!} = e - 1 = 1.718282.$

Einige weitere Einblicke:

Aus der obigen Arbeit sehen wir, dass dieses Verteilungsergebnis und der daraus resultierende erwartete Wert nicht von der zugrunde liegenden Verteilung abhängen, solange es sich um eine kontinuierliche Verteilung handelt. Dies ist wirklich nicht überraschend, wenn man bedenkt, dass jede kontinuierliche skalare Zufallsvariable durch eine monotone Transformation einer einheitlichen Zufallsvariablen erhalten werden kann (wobei die Transformation ihre Quantilfunktion ist). Da monotone Transformationen die Rangordnung beibehalten, ist das Betrachten der Ordnungswahrscheinlichkeiten beliebiger kontinuierlicher IID-Zufallsvariablen dasselbe wie das Betrachten der Ordnungswahrscheinlichkeiten einheitlicher IID- Zufallsvariablen.

— Setzen Sie Monica wieder ein
quelle

Schön gemacht! (+1)

— Bogenschütze

@Ben Ich folge dir bis zur letzten Gleichung ... Ich dachte, der erwartete Wert sollte, anstatt ... können Sie diesen Teil näher erläutern?

E (N) = \sum_{n = 1}^{\infty} P (N = n) * n = \sum_{n = 1}^{\infty} n^{2} / (n + 1)!

$E(N)=∑_{n=1}^∞P(N=n)*n=∑_{n=1}^∞ n^2/(n+1)!$

E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n)

$E(N)=∑_{n=1}^∞P(N⩾n)$

— Amazonian

Dies ist eine bekannte Regel für den Erwartungswert einer nicht negativen Zufallsvariablen . Unter Verwendung einer Technik, bei der die Reihenfolge der Summierungen vertauscht wird, haben Sie: Sie sollten also feststellen, dass .

E (N) = \sum_{n = 1}^{\infty} n P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = 1}^{n} P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = n}^{\infty} P (N = k) = \sum_{n = 1}^{\infty} P (N ⩾ n) .

$\mathbb{E}(N) = \sum_{n=1}^\infty n \mathbb{P}(N=n) = \sum_{n=1}^\infty \sum_{k=1}^n \mathbb{P}(N = n) = \sum_{n=1}^\infty \sum_{k=n}^\infty \mathbb{P}(N =k) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n).$

\sum_{n} \frac{1}{n!} = \sum_{n} \frac{n^{2}}{(n + 1)!}

$\sum_n \tfrac{1}{n!} = \sum_n \tfrac{n^2}{(n+1)!}$

— Setzen Sie Monica am

Können Sie bitte erläutern, warum ?

P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n})

${P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n)$

— Badmax

@badmax: Die Zufallsvariable ist die Anzahl der aufsteigenden Elemente von am Anfang der Sequenz (siehe Definition). Wenn also , bedeutet dies, dass am Anfang der Sequenz mindestens ansteigende Elemente vorhanden sind . Dies bedeutet, dass die ersten Elemente in aufsteigender Reihenfolge vorliegen müssen, .

N

$N$

U

$U$

N ⩾ n

$N \geqslant n$

n

$n$

n

$n$

U_{1} < U_{2} < \dots < U_{n}

$U_1 < U_2 < \cdots < U_n$

— Setzen Sie Monica

Eine weitere Lösungsmethode, mit der Sie die Lösung für einen allgemeineren Fall finden.

Angenommen, ist die erwartete Länge einer monotonen Sequenz , sodass . Der zu berechnende Wert ist . Und wir wissen, dass . Konditionierung auf den nächsten Wert, $F(x)$ $\{x_1, x_2, ...\}$ $x\leq x_1\leq x_2\leq\cdots$ $F(0)$ $F(1)=0$

F (x) = \int_{0}^{x} π (y) \cdot 0 d y + \int_{x}^{1} π (y) (1 + F (y)) d y = \int_{x}^{1} 1 + F (y) d y

$F(x) = \int_0^x \pi(y)\cdot 0 dy + \int_x^1\pi(y)(1+F(y))dy= \int_x^1 1+F(y) dy$

Dabei ist die U [0,1] -Dichte. So $\pi(y)=1$

F^{'} (x) = - (1 + F (x))

$F'(x)=-(1+F(x))$

Wenn wir mit der Randbedingung lösen , erhalten wir . Daher ist . $F(1)=0$ $F(x) = e^{(1-x)}-1$ $F(0)=e-1$

— jf328
quelle

Das ist sehr klug. Um es ein bisschen auszudrücken: Ihre Beobachtungen sind, dass 1) wenn die Länge der längsten anfänglich zunehmenden Sequenz minus eins ist, es ausreicht, zu bestimmen und und 2) ist Null, wenn und andernfalls. Da wir erhalten , was im einheitlichen Fall direkt gelöst werden kann.

L

$L$

E (L | X_{0} = x) =: F (x)

$E(L|X_0=x)=:F(x)$

x = 0

$x=0$

E (L | X_{0} = x, X_{1} = y)

$E(L|X_0=x,X_1=y)$

y < x

$y<x$

1 + E (L | X_{0} = y)

$1+E(L|X_0=y)$

E (L | X_{0} = x) = E (E (L | X_{0} = x, X_{1})) = \int_{R} f_{X} (y) E (L | X_{0} = x, X_{1} = y) d y = \int_{x}^{1} f_{X} (y) (1 + E (L | X_{0} = y)) d y = \int_{x}^{1} f_{X} (y) (1 + F (y)) d y

$E(L|X_0=x)=E(E(L|X_0=x,X_1)) = \int_\mathbb{R} f_X(y) E(L|X_0=x, X_1=y) dy = \int_x^1 f_X(y)(1+E(L|X_0=y))dy= \int_x^1 f_X(y)(1+F(y))dy$

F^{'} (x) = - f_{X} (x) (1 + F (x))

$F'(x)=-f_X(x)(1+F(x))$

— Matthew Towers

+1 Sehr klug in der Tat. Da die endgültige Antwort jedoch nicht von der Verteilung abhängt (wie in der anderen Antwort beschrieben), sollte diese Berechnung auch nicht von abhängen . Gibt es eine Möglichkeit, es zu sehen? CC an @m_t_.

π (y)

$\pi(y)$

— Amöbe sagt Reinstate Monica

@amoeba Ich bin damit einverstanden, dass nicht von der Verteilung der s abhängen sollte , sondern von anderen Werten von : Die allgemeine Lösung dieser DE ist

F (0)

$F(0)$

X

$X$

F

$F$

F = C e^{- \int π} - 1

$F=Ce^{-\int \pi}-1$

— Matthew Towers

@MartijnWeterings Ich denke, , nicht 1, z. B. in dem einheitlichen Fall bekommen wir

C = e

$C=e$

e e^{- x} - 1

$e e^{-x} -1$

— Matthew Towers

Ja, du hast recht. Ich habe die einheitliche Schreibweise verwendet, um meine Aussage abzuleiten, habe aber fälschlicherweise anstelle von

c e^{1 - x} - 1

$ce^{1-x}-1$

c e^{- x} - 1

$ce^{-x}-1$

— Sextus Empiricus

Eine andere Lösungsmethode besteht darin, das Integral direkt zu berechnen.

Die Wahrscheinlichkeit, eine Sequenz zu erzeugen, deren zunehmender Teil die Länge von ist , wobei . $\geq n$ $f^n(0)$ $f^n(x) = \int_{x}^{1}\int_{x_1}^{1}\int_{x_2}^{1}...\int_{x_{n-2}}^{1}\int_{x_{n-1}}^{1}dx_ndx_{n-1}...dx_2dx_1$

Wir müssen berechnen . $f^n(0)$

Wenn Sie versuchen, die ersten mehreren zu berechnen , werden Sie vielleicht feststellen, dass $f^n(x)$ $f^n(x) = \sum_{t=0}^n \dfrac{(-x)^t}{t!(n-t)!}$

Basisfall: Wenn , ist $n=1$ $f^1(x) = \sum_{t=0}^1 \dfrac{(-x)^t}{t!(n-t)!}=1-x=\int_{x}^{1}dx_1$

Induktive Hypothese: Wenn , ist $n=k$ $f^n(x) = \sum_{t=0}^k \dfrac{(-x)^t}{t!(k-t)!}\text{ , for }k \geq 1$

Induktive Stufe: wenn , $n = k+1$

$\ \ \ \ \ f^{n}(x) = f^{k+1}(x) = \int_{x}^{1}f^{k}(x^*)dx^*$

$=\int_{x}^{1}\sum_{t=0}^{k} \dfrac{(-x^*)^t}{t!(k-t)!}dx^*$

$=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{t!(k-t)!\times(t+1)}\Biggr|_{x}^{1}\\=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{(t+1)!(k-t)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{-(-x^*)^{t}}{t!(k-t+1)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}}{t!(k-t+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}+\sum_{t=0}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}-\dfrac{(1-1)^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=0}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

Durch die mathematische Induktion gilt die Annahme.

Wir erhalten also $f^n(0)=\dfrac{1}{n!}$

Also ist $E(length)=\sum_{n=1}^{\infty} Pr(length\geq n)=\sum_{n=1}^{\infty} \dfrac{1}{n!}=e-1$

— 劉家維
quelle