Summe unabhängiger exponentieller Zufallsvariablen

Können wir ein scharfes Konzentrationsergebnis auf der Summe unabhängiger exponentieller Zufallsvariablen nachweisen, dh $X_1, \ldots X_r$ seien unabhängige Zufallsvariablen, so dass $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ . Sei $Z = \sum X_i$ . Können wir Grenzen der Form beweisen $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$ . Dies folgt direkt, wenn wir die Varianzform der Chernoff-Grenzen verwenden und daher glaube ich, dass dies wahr ist, aber die Grenzen, die ich lese, erfordern eine Begrenztheit oder eine gewisse Abhängigkeit von der Begrenztheit der Variablen. Könnte jemand auf einen Hinweis auf das oben Gesagte hinweisen?

pr.probability randomness chernoff-bound

— Gaul
quelle

Folgen Sie einfach dem Beweis von chernoff: Es ist einfach, das exponentielle Moment exponentieller Zufallsvariablen zu begrenzen.

— Sasho Nikolov

Ich habe versucht, den Beweis von Chernoff zu wiederholen. Ich habe es für den einfacheren Fall getan, wenn alle

λ_{i} = λ

$\lambda_i = \lambda$ . Ich kann die Art von Beziehung, die ich suche, unter einer milden Bedingung von

t < n λ

$t < n\lambda$ . Tritt ein solcher Zustand natürlich auf oder liegt es an meiner nicht so guten Lösung?

— NAg

Überprüfen Sie Lemma 2.8 hier eprint.iacr.org/2010/076.pdf

— Sasho Nikolov

Ja das macht Sinn. Auch in ihrem Lemma haben sie eine Bedingung auf

klein genug ist. Okay, dann scheint meine Lösung richtig zu sein. Vielen Dank für die Links und den Vorschlag.

t

$t$

— NAg

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

Antworten:

Nehmen wir zur Verdeutlichung an, dass das PDF des rv ist $X_i$

p (X_{i} = x) = \frac{1}{2} λ_{i} e^{- λ_{i} | x |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

Dies ist die Laplace-Verteilung oder die doppelte Exponentialverteilung. Seine Varianz ist . Das cdf ist $\frac{2}{\lambda_i^2}$

Pr [X_{i} \leq x] = 1 - \frac{1}{2} e^{- λ_{i} x}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$ für .

x \geq 0

$x \geq 0$

Die Momenterzeugungsfunktion von ist $X_i$

E e^{u X_{i}} = \frac{1}{1 - u^{2} / λ_{i}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$ für . Unter Verwendung dieser Tatsache und der Exponentialmomentmethode, die beim Beweis von Chernoff-Grenzen Standard ist, erhalten Sie, dass für und die folgende Ungleichung gilt

| u | < λ_{i}

$|u| < \lambda_i$

X = \sum_{i} X_{i}

$X = \sum_i X_i$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$

Pr [X > t σ] < e^{- t^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$ solange . Eine detaillierte Ableitung finden Sie im Beweis von Lemma 2.8 dieses Papiers .

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$

— Sasho Nikolov
quelle

Vielen Dank für die Antwort. In meiner Anwendung ist es jedoch nicht unbedingt wahr, dass . Man würde jedoch eine noch stärkere Konzentration erwarten, wenn . Wir können ein solches Ergebnis erhalten, wenn wir nicht die Näherung von die den Bereich von im Beweis einschränkt, aber die Analyse davon wird im Fall von unterschiedlichem unüberschaubar . Irgendwelche Vorschläge dazu?

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— NAg

Dies wird ein kräftiges Handwinken sein, aber ich gehe davon aus, dass so große Werte von am wahrscheinlichsten auftreten, wenn nur eine kleine Anzahl von den Median von überschreitet um viel. Aber doppelte Exponentialvariablen haben einen schwereren Schwanz als Gaußsche, und eine kleine Anzahl von ihnen kann sich nicht so stark konzentrieren

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— Sasho Nikolov

Mir ist klar, dass das, was ich oben geschrieben habe, nicht klar ist: Ich erwarte, dass dieser Ausweg im Schwanz wie der Schwanz eines anderen rv aussieht der die Summe einer kleinen Anzahl von doppelt exponentiellen rv ist. Der Schwanz eines solchen sollte nicht sein subgaußsch.

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— Sasho Nikolov

Wenn Sie für die Laplace-Distribution die Bernoulli-Bindung verwenden, können Sie schreiben

E e^{u \sum_{i} X_{i}} = \prod_{i} \frac{1}{1 - u^{2} / λ_{i}^{2}} \leq \frac{1}{1 - u^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$ wobei . Dann gibt die klassische Chernoff-Methode nach

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

Pr [\sum_{i} X_{i} \geq t σ] \leq \frac{1 + \sqrt{1 + 2 t^{2}}}{2} e^{1 - \sqrt{1 + 2 t^{2}}} \leq {\begin{cases} (e t / \sqrt{2} + 1) e^{- \sqrt{2} t} \\ e^{- t^{2} / 2 + t^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

Beachten Sie, dass diese Grenzen für uneingeschränkte Werte von und . Die Grenzen rechts zeigen die beiden möglichen Regime. Für kleine Werte von wir die "normale" Konzentration , während wir für große Werte von , was auch die CDF für ist eine einzelne verteilte Laplace-Variable. $t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ $\approx e^{-\sqrt{2}t}$

Die -Bindung ermöglicht es Ihnen, zwischen den beiden Situationen zu interpolieren, aber ich vermute, dass man in fast allen Fällen entweder im großen oder im kleinen Lager fest sein wird. $1-\sqrt{1+2t^2}$ $t$ $t$

Für die Exponentialverteilung geben uns dieselben Techniken wobei . Daher ist Sie sehen also immer noch etwas normal aus, aber mit statt wie wir es uns erhofft haben. Ich weiß nicht, ob es möglich ist, eine Grenze in Bezug auf die Varianz zu erhalten. Sie könnten versuchen, zu studieren , aber es scheint nicht einfach zu sein, damit zu arbeiten. $Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

Pr [(\sum_{i} X_{i}) - μ \geq t μ] \leq (t + 1) e^{- t} \leq e^{- t^{2} / 2 + t^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— Thomas Ahle
quelle

Ich habe nicht die Zeit, die Details zu erarbeiten, aber ich bin zu 99,9% sicher, dass man eine Grenze für exponentiell verteilte Zufallsvariablen erhalten kann, die von der Varianz abhängt. Ihre momentan gebundene Erzeugungsfunktion sieht übermäßig locker aus.

— Warren Schudy

@ Warren Schudy, was wäre dein Ansatz?

— Thomas Ahle

Ich sehe zwei offensichtliche Ansätze: 1. Die zweite Grenze, die unter en.wikipedia.org/wiki/… aufgeführt ist, scheint zu funktionieren. 2. Finden Sie eine engere Grenze für die Momenterzeugungsfunktion.

— Warren Schudy

@WarrenSchudy Die Bernstein-Grenze ergibt , aber nur für . Ich nehme an, das ähnelt Sashos Antwort.

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

— Thomas Ahle

Es ist unvermeidlich, dass Grenzen im Gaußschen Stil irgendwann aufhören. Sogar eine einzelne exponentiell verteilte Zufallsvariable hat schließlich dickere Schwänze als jede Gaußsche.

— Warren Schudy