Den Beweis eines Lemmas verstehen, das in der Hoeffding-Ungleichung verwendet wird

Ich studiere Larry Wassermans Vorlesungsunterlagen zur Statistik, in denen Casella und Berger als Haupttext verwendet werden. Ich arbeite seine Vorlesungsunterlagen Satz 2 durch und stecke in der Ableitung des Lemmas fest, das in Hoeffdings Ungleichung verwendet wird (S. 2-3). Ich reproduziere den Beweis in den Anmerkungen unten und nach dem Beweis werde ich darauf hinweisen, wo ich festsitze.

Lemma

Angenommen, $\mathbb{E}(X) = 0$ und $a \le X \le b$ . Dann $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$ .

Beweis

Da , können wir als konvexe Kombination von und schreiben , nämlich wobei $a \le X \le b$ $X$ $a$ $b$ $X = \alpha b + (1 - \alpha) a$ . Durch die Konvexität der Funktionwir $\alpha = \frac{X-a}{b-a}$ $y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Nehmen Sie die Erwartungen beider Seiten und verwenden Sie die Tatsache , um zu erhalten $\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

wobei , und . Man beachte, dass $u = t(b-a)$ $g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$ $\gamma = -a /(b-a)$ . Auch $g(0) = g^{'}(0) = 0$ für all. $g^{''}(u) \le 1/4$ $u > 0$

Durch Taylor-Theorem gibt es ein , so dass $\varepsilon \in (0, u)$ $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Daher ist . $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$

Ich konnte dem Beweis folgen bis

aber ich kann nicht herausfinden, wie man. $\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ $u, g(u), \gamma$

probability probability-inequalities

— Anand
quelle

Es ist interessant , dass der maximale Wert von

ist ,

und somit das Ergebnis effektiv

, die viel zu aussieht vertraut, um aus reinem Zufall zu entstehen. Ich vermute, dass es einen anderen, möglicherweise einfacheren Weg gibt, das Ergebnis über ein probabilistisches Argument abzuleiten.

var (X)

$\text{var}(X)$

σ_{max}^{2} = (b - a)^{2} / 4

$\sigma_{\max}^2 = (b-a)^2/4$

E [e^{t X}] \leq e^{σ_{max}^{2} t^{2} / 2}

$E[e^{tX}] \leq e^{\sigma_{\max}^2t^2/2}$

— Dilip Sarwate

@ DilipSarwate Mein Verständnis ist, dass die maximale Varianz für eine einheitliche Zufallsvariable

auftritt . Die Varianz von

ist

X \sim U (a, b)

$X \sim \mathcal{U}(a,b)$

X

$X$

. Können Sie bitte erklären, wie Sie zu

V a r (X) = \frac{(b - a)^{2}}{12}

$\mathsf{Var}(X) = \frac{(b-a)^2}{12}$

\frac{(b - a)^{2}}{4}

$\frac{(b-a)^2}{4}$

— Anand

Durch die Konzentration der Masse auf die Endpunkte ...

— Elvis

@ DilipSarwate Ich habe dem Beweis einige Kommentare hinzugefügt, die ein wenig klarstellen können, warum der schlimmste Fall die maximale Varianz ist.

— Elvis

@DilipSarwate - Siehe Lemma 1 und Übung 1 hier: terrytao.wordpress.com/2010/01/03/… . Es scheint, dass es eine einfachere Ableitung gibt, die auf Jensens Ungleichung und Taylors Expansion beruht. Die Einzelheiten hierzu sind mir jedoch unklar. Vielleicht kann jemand einen Sinn daraus machen. (Ableitung von (9) bis (10) und Übung 1)

— Leo

Ich bin mir nicht sicher, ob ich Ihre Frage richtig verstanden habe. Ich werde versuchen zu antworten: versuche zu schreiben als Funktion von: Dies ist natürlich, da Sie eine Grenze in

- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

u = t (b - a)

$u = t(b-a)$

e^{\frac{u^{2}}{8}}

$e^{u^2 \over 8}$

Mithilfe dieser Erfahrung werden Sie wissen, dass es besser ist, sie in der Form zu schreiben . Dann ist $e^{g(u)}$ führt zu

e^{g (u)} = - \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}

$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$

mit

\begin{aligned} g (u) & = \log (- \frac{a}{b - a} e^{t b} + \frac{b}{b - a} e^{t a}) \\ = \log (e^{t a} (- \frac{a}{b - a} e^{t (b - a)} + \frac{b}{b - a})) \\ = t a + \log (γ e^{u} + (1 - γ)) \\ = - γ u + \log (γ e^{u} + (1 - γ)), \end{aligned}

$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$

γ = - \frac{a}{b - a}

$\gamma = - {a \over b-a}$

Ist das die Art von Sache, nach der Sie gefragt haben?

Edit: ein paar Kommentare zum Proof

Der erste Trick verdient eine sorgfältige Prüfung: Wenn eine konvexe Funktion ist und eine zentrierte Zufallsvariable ist, dann ist $\phi$ $a\le X\le b$ wobeidie durchdefinierte diskrete Variable ist $E (ϕ (X)) \leq - \frac{a}{b - a} ϕ (b) + \frac{b}{b - a} ϕ (a) = E (ϕ (X_{0})),$ $\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$ $X_0$ Als Ergebnis erhalten Sie, dassdie zentrierte Variable mit Unterstützung indie die höchste Varianz aufweist: $\begin{aligned} P (X_{0} = a) & = \frac{b}{b - a} \\ P (X_{0} = b) & = - \frac{a}{b - a} . \end{aligned}$ $\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$ $X_0$ $[a,b]$ Beachten Sie, dass wenn wir eine Stützbreitefestlegen, diese kleiner als $V a r (X) = E (X^{2}) \leq E (X_{0}^{2}) = \frac{b a^{2} - a b^{2}}{b - a} = - a b .$ $\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$ $(b-a)$ wie Dilip in den Kommentaren sagt, liegt dies daran, dass; Die Grenze ist erreicht für. $(b-a)^2\over 4$ $(b-a)^2 + 4ab \ge 0$ $a=-b$
$u = t(b-a)$ $X$ $\mathbb{E}\left( e^{tX} \right) \le s(t)$ $b-a=1$ $s( t(b-a) )$ $s(t)$

$\mathbb{E}(\phi(X))$ $\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$ $u$ $\gamma$ $u = u_0 = t_0 (b_0 - a_0)$ $\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$ $t, a, b$ $t = {t_0 \over \alpha}$ $a = \alpha a_0$ $b = \alpha a_0$
$- \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) = - \frac{a_{0}}{b_{0} - a_{0}} ϕ (t b_{0}) + \frac{b_{0}}{b_{0} - a_{0}} ϕ (a_{0}) .$ $-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$ $u$
$g$ $u$ $\gamma$

$\gamma = -{a\over b-a}$ $1 -\gamma = {b\over b-a}$ $at = -\gamma u$ $bt = (1-\gamma)u$
$\begin{aligned} E (ϕ (t X)) \leq & - \frac{a}{b - a} ϕ (t b) + \frac{b}{b - a} ϕ (t a) \\ = & γ ϕ ((1 - γ) u) + (1 - γ) ϕ (- γ u) \end{aligned}$ $\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$

$\phi=\exp$

Ich hoffe, ich habe es ein wenig geklärt.

— Elvis
quelle

das ist genau das, wonach ich gesucht habe. Danke vielmals.

— Anand

@Anand ich weiß, dass es schwierig ist, Ratschlägen zu folgen, aber ich denke, Sie sollten sich nicht zunächst auf technische Details konzentrieren, sondern herausfinden, warum eine solche Bindung existieren kann ... dann sollte der Beweis einfacher erscheinen. Ich habe versucht, Ihnen das Warum im zweiten Teil zu zeigen, der heute Morgen hinzugefügt wurde (Sie müssen über eine Frage wie diese schlafen - zumindest muss ich das tun). Ich finde es schrecklich, dass diese Art von Intuitionen in den meisten Lehrbüchern nicht vorkommt ... selbst wenn man den technischen Teil bekommt, sieht alles magisch aus, solange man nicht die Ideen hat. Vielen Dank und CrossV, dass Sie mir die Möglichkeit gegeben haben, ausführlich darüber nachzudenken!

— Elvis

E [e^{t X}] \leq e^{E [t^{2} X^{2} / 2]} = e^{(t^{2} / 2) E [X^{2}]} = e^{(t^{2} / 2) var (X)} \leq e^{t^{2} σ_{max}^{2} / 2} ?

$E[e^{tX}] \leq e^{E[t^2X^2/2]} = e^{(t^2/2)E[X^2]} = e^{(t^2/2)\text{var}(X)} \leq e^{t^2\sigma_{\max}^2/2}?$

— Dilip Sarwate

@ Elvis Vielen Dank für den Rat und dafür, dass Sie sich die Zeit genommen haben, den intuitiven Teil aufzuschreiben. Ich muss etwas Zeit aufwenden, um das zu verstehen!

— Anand

@Elvis Taking about intuition, I want to clarify my understanding. To get sharper bounds one needs higher moments. Markov uses the first moment, Chebyshev the second moment and the Hoeffding uses mgf. Is this correct? If someone can expand and clarify this part it would be great.

— Anand