Wahrscheinlichkeitsungleichungen

Ich suche nach einigen Wahrscheinlichkeitsungleichungen für Summen von unbegrenzten Zufallsvariablen. Ich würde mich sehr freuen, wenn mir jemand ein paar Gedanken machen könnte.

Mein Problem besteht darin, eine exponentielle Obergrenze für die Wahrscheinlichkeit zu finden, dass die Summe der unbegrenzten iid-Zufallsvariablen, die tatsächlich die Multiplikation von zwei iid-Gaußschen Variablen sind, einen bestimmten Wert überschreitet, dh , wobei , und iid aus generiert werden . $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

Ich habe versucht, die Chernoff-Grenze mit der Momenterzeugungsfunktion (MGF) zu verwenden. Die abgeleitete Grenze ist gegeben durch:

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

wo ist die MGF von . Aber die Grenze ist nicht so eng. Das Hauptproblem bei meinem Problem ist, dass die Zufallsvariablen unbegrenzt sind und ich die Grenze der Höffding-Ungleichung leider nicht verwenden kann. $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ $X$

Ich bin zu glücklich, wenn Sie mir helfen, eine enge exponentielle Grenze zu finden.

— Farzad
quelle

Klingt nach einem Problem mit komprimierter Abtastung. Lesen Sie die Anmerkungen von R. Vershynin zur nichtasymptotischen Zufallsmatrixtheorie, insbesondere die Grenzen dessen, was er subexponentielle Zufallsvariablen nennt . Dann fängst du an. Wenn Sie weitere Hinweise benötigen, lassen Sie es uns wissen und ich werde versuchen, weitere Informationen zu veröffentlichen.

— Kardinal

Es gibt mindestens ein paar Fragen und Antworten zu diesem Thema auf math.SE (Haftungsausschluss: einschließlich einer, an der ich teilgenommen habe).

— Kardinal

Das Produkt hat als 'normales Produkt' eine Distribution. Ich glaube, der Mittelwert dieses Produkts ist Null und die Varianz ist wobei die Varianz von und . Für largeish können Sie den zentralen Grenzwertsatz verwenden, um die ungefähre Noralität von . Wenn Sie den Versatz der normalen Produktverteilung berechnen können, können Sie meines Erachtens das Berry-Esseen-Theorem anwenden, um die Konvergenzrate der CDF zu begrenzen.

w_{i} v_{i}

$w_i v_i$

σ^{4}

$\sigma^4$

σ^{2}

$\sigma^2$

w_{i}

$w_i$

v_{i}

$v_i$

N

$N$

X

$X$

— Shabbychef

@shabbychef, Berry-Esseen hat eine ziemlich langsame Konvergenz, da es eine einheitliche Grenze über die Klasse aller Verteilungsfunktionen .

F

$F$

— Kardinal

@DilipSarwate: Entschuldigung, dass ich gerade Ihren Kommentar von vor einer Weile sehe. Ich denke, Sie interessieren sich vielleicht für das folgende kleine Papier, das ich auch ein paar Mal zu math.SE verlinkt habe: TK Phillips und R. Nelson (1995). Der Moment ist enger gebunden als Chernoffs Grenze für positiven Schwanz Wahrscheinlichkeiten , The American Statistician , Bd. 42, Nr. 2. 175-178.

— Kardinal

Antworten:

Unter Verwendung der von Ihnen vorgeschlagenen Chernoff-Grenze für ein später angegebenes lautet wobei die zweite Ungleichung dank für jedes . Nehmen Sie nun und , die rechte Seite wird zu was für jedes ergibt . $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

Eine andere Möglichkeit besteht darin, Konzentrationsunterschiede wie die Hanson-Wright-Ungleichung oder Konzentrationsunterschiede für das Gaußsche Chaos der Ordnung 2, die die Zufallsvariable umfassen, an der Sie interessiert sind, direkt anzuwenden.

Einfachere Annäherung ohne Verwendung der Momenterzeugungsfunktion

Nehmen Sie der Einfachheit halber (andernfalls können Sie die Skalierung durch Teilen durch ändern ). $\sigma=1$ $\sigma^2$

Schreib und . Sie fragen nach oberen Schranken für . $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

Sei. Dann ist durch die Unabhängigkeit von und unabhängig von mit der Verteilung mit Freiheitsgraden. $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

Nach Standardgrenzen für normale und zufällige Variablen ist Die Kombination mit der Vereinigungsgrenze ergibt eine obere Grenze für der Form . $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— jlewk
quelle

Die Bindung, die Sie erhalten, ist in der Reihenfolge als . Ich glaube nicht , Sie können für den allgemeinen viel besser . Von der Wikipedia - Seite über Produktvariablen die Verteilung von ist wo ist eine modifizierte Bessel - Funktion. Aus (10.25.3) in der DLMF-Funktionsliste , sime so dass für ausreichend groß was Ihnen keine subgaußsche Grenze geben wird. $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— BookYourLuck
quelle