Was ist der Beweis für diese nicht standardmäßige Version von Azumas Ungleichung?

In Anhang B von Boosting and Differential Privacy von Dwork et al. Geben die Autoren das folgende Ergebnis ohne Beweis an und bezeichnen es als Azumas Ungleichung:

Lassen werden reellwertigen Zufallsvariablen , so dass für jedes , $C_1, \dots, C_k$ $i \in [k]$

$\Pr[|C_i| \leq \alpha] = 1$ und

für jedes haben wir . $(c_1, \dots, c_{i - 1}) \in \text{Supp}(C_1, \dots, C_{i - 1})$ $\text{E}[C_i \mid C_1 = c_1, \dots, C_{i - 1} = c_{i - 1}] \leq \beta$

Dann haben wir für jedes . $z > 0$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z \sqrt{k} \cdot \alpha] \leq e^{-z^2/2}$

Ich habe Probleme, das zu beweisen. Die Standardversion der Azuma-Ungleichung besagt:

Angenommen, $\{X_0, X_1, \dots, X_k\}$ ist ein Martingal und $|X_i - X_{i - 1}| \leq \gamma_i$ fast sicher. Dann haben wir für alle . $t > 0$ $\Pr[X_k \geq t] \leq \exp(-t^2/(2 \sum_{i = 1}^k \gamma_i^2))$

Um die von Dwork et al. Version der Azuma-Ungleichung zu beweisen, habe ich angenommen, wir sollten und . Auf diese Weise halte ich für einen Martingal. Wir können aber nur sagen, dass ziemlicher Sicherheit, oder? Dieser Faktor zwei verursacht Probleme, weil es bedeutet, dass wir nach dem Ersetzen nur feststellen, dass , was schwächer ist als die Schlussfolgerung von Dwork et al. $X_0 = 0$ $X_i = X_{i - 1} + C_i - \text{E}[C_i \mid C_1, C_2, \dots, C_{i - 1}]$ $\{X_0, \dots, X_k\}$ $|X_i - X_{i - 1}| \leq 2\alpha$ $\Pr[\sum_{i = 1}^k C_i > k\beta + z\sqrt{k} \cdot 2\alpha] \leq e^{-z^2/2}$

Gibt es einen einfachen Trick, den ich vermisse? Ist die Aussage von Dwork et al. Fehlt ein Faktor zwei?

pr.probability

— William Hoza
quelle

Die Aussage in dem Papier ist wahr, folgt aber nicht aus der "üblichen" Version von Azumas Ungleichung. Das Problem ist, dass die übliche Anweisung annimmt aber jedes Intervall der gleichen Länge ausreicht. Es gibt keinen Grund, ein symmetrisches Intervall anzunehmen.

X_{i} - X_{i - 1} \in [- a, a]

$X_i-X_{i-1}\in[-a,a]$

— Thomas unterstützt Monica

Ich kann keine Referenz finden, deshalb skizziere ich hier nur den Beweis.

Satz. Sei echte Zufallsvariablen. Sei Konstanten. Angenommen, für alle und alle in der Unterstützung von , wir haben $X_1, \cdots, X_n$ $a_1, \cdots, a_n, b_1, \cdots, b_n$ $i \in \{1,\cdots,n\}$ $(x_1,\cdots,x_{i-1})$ $(X_1, \cdots, X_{i-1})$

$\mathbb{E}[X_i | X_1=x_1, \cdots, X_{i-1}=x_{i-1}] \leq 0$ und

$\mathbb{P}[X_i \in [a_i,b_i]]=1$ .

Dann wird für alle , $t\geq0$
$P [\sum_{i = 1}^{n} X_{i} \geq t] \leq \exp (\frac{- 2 t^{2}}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}) .$ $\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right] \leq \exp\left(\frac{-2t^2}{\sum_{i=1}^n (b_i-a_i)^2}\right).$

Beweis. Definiere . Wir behaupten, dass Für alle und haben wir Angenommen, und für alle in der Unterstützung von $Y_i = \sum_{j=1}^i X_j$

\begin{matrix} (*) & \forall i \in {1, \dots, n} \forall λ \geq 0 E [e^{λ Y_{i}}] \leq e^{\frac{1}{8} λ^{2} \sum_{j = 1}^{i} (b_{j} - a_{j})^{2}} . \end{matrix}

$\forall i \in \{1,\cdots,n\}~\forall \lambda \geq 0 ~~~~~ \mathbb{E}\left[e^{\lambda Y_i}\right] \leq e^{\frac18 \lambda^2 \sum_{j=1}^i (b_j-a_j)^2}.\tag*{(*)}$

i

$i$

λ

$\lambda$

E [e^{λ Y_{i}}] = E [e^{λ Y_{i - 1}} \cdot e^{λ X_{i}}] = E [e^{λ Y_{i - 1}} \cdot E [e^{λ X_{i}} | Y_{i - 1}]] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{\lambda X_i}\right] = \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot \mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}\right]\right].$

μ (y_{i - 1}) := E [X_{i} | Y_{i - 1} = y_{i - 1}] \leq 0

$\mu(y_{i-1}):=\mathbb{E}[X_i|Y_{i-1}=y_{i-1}]\leq 0$

P [X_{i} \in [a_{i}, b_{i}]] = 1

$\mathbb{P}[X_i \in [a_i,b_i]] =1$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$ . (Beachten Sie, dass .) Nach Höffding ' Lemma ist für alle zur Unterstützung von und all . Da , die wir haben, für alle , Nun ergibt die Induktion den obigen Anspruch (*).

Y_{i - 1} = X_{1} + \dots + X_{i - 1}

$Y_{i-1}=X_1+\cdots+X_{i-1}$

E [e^{λ X_{i}} | Y_{i - 1} = y_{i - 1}] \leq e^{λ μ (y_{i - 1}) + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}

$\mathbb{E}\left[e^{\lambda X_i}\middle|Y_{i-1}=y_{i-1}\right] \leq e^{\lambda\mu(y_{i-1})+\frac18 \lambda^2(b_i-a_i)^2}$

y_{i - 1}

$y_{i-1}$

Y_{i - 1}

$Y_{i-1}$

λ \in R

$\lambda \in \mathbb{R}$

μ (y_{i - 1}) \leq 0

$\mu(y_{i-1})\leq 0$

λ \geq 0

$\lambda \geq 0$

E [e^{λ Y_{i}}] \leq E [e^{λ Y_{i - 1}} \cdot e^{0 + \frac{1}{8} λ^{2} (b_{i} - a_{i})^{2}}] .

$\mathbb{E}\left[e^{\lambda Y_i}\right] \leq \mathbb{E}\left[e^{\lambda Y_{i-1}}\cdot e^{0+\frac18 \lambda^2(b_i-a_i)^2}\right].$

Nun wenden wir Markovs Ungleichung auf und verwenden unsere Behauptung (*). Für alle , Setzen Sie schließlich , um den Ausdruck für die rechte Hand zu minimieren und das Ergebnis zu erhalten. $e^{\lambda Y_n}$ $t, \lambda > 0$

P [\sum_{i = 1}^{n} X_{i} \geq t] = P [Y_{n} \geq t] = P [e^{λ Y_{n}} \geq e^{λ t}] \leq \frac{E [e^{λ Y_{n}}]}{e^{λ t}} \leq \frac{e^{\frac{1}{8} λ^{2} \sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}}{e^{λ t}} .

$\mathbb{P}\left[\sum_{i=1}^n X_i \geq t\right]=\mathbb{P}[Y_n \geq t] = \mathbb{P}\left[e^{\lambda Y_n} \geq e^{\lambda t}\right] \leq \frac{\mathbb{E}\left[e^{\lambda Y_n}\right]}{e^{\lambda t}} \leq \frac{e^{\frac18 \lambda^2 \sum_{i=1}^n (b_i-a_i)^2}}{e^{\lambda t}}.$

λ = \frac{4 t}{\sum_{i = 1}^{n} (b_{i} - a_{i})^{2}}

$\lambda=\frac{4t}{\sum_{i=1}^n (b_i-a_i)^2}$

\begin{matrix} ◼ \end{matrix}

$\tag*{$\blacksquare$}$

Wie ich in meinem Kommentar erwähnt habe, erfordert der Hauptunterschied zwischen dieser und der "üblichen" Aussage von Azumas Ungleichung und nicht . Ersteres ermöglicht mehr Flexibilität und spart in einigen Fällen den Faktor 2. $X_i \in [a_i,b_i]$ $X_i \in [-a,a]$

Beachten Sie, dass die Zufallsvariablen im Beweis eine Supermartingale sind. Sie können die übliche Version von Azumas Ungleichung erhalten, indem Sie ein Martingal , und (wobei ) und dann Anwenden des obigen Ergebnisses. $Y_i$ $Y_1, \cdots, Y_n$ $X_i=Y_i-Y_{i-1}$ $[a_i,b_i]=[-c_i,c_i]$ $\mathbb{P}[|Y_i-Y_{i-1}|\leq c_i]=1$

— Thomas unterstützt Monica
quelle

In der ersten Zeile des Beweises sollte es vermutlich sein (obere Grenze der Summe als statt ) ....

Y_{i} = \sum_{j = 1}^{i} X_{j}

$Y_i = \sum_{j=1}^i X_j$

i

$i$

n

$n$

— Dougal

Der Beweis ist auch in der Monographie von Dubhashi und Panconesi gegeben.

— Kristoffer Arnsfelt Hansen

@KristofferArnsfeltHansen: Großartig. Hast du einen Link?

— Thomas unterstützt Monica