Ungleichungen bei der Messung von Konzentrationen verstehen

Im Geiste dieser Frage versuche ich, die Schritte zu verstehen, die zur Ungleichung von Hoeffding führen, indem ich den Beweis für ein Lemma verstehe, das bei der Ungleichung von Hoeffding verwendet wird.

Was für mich das größte Rätsel beim Beweis ist, ist der Teil, in dem Exponentialmomente für die Summe der iid-Variablen berechnet werden, woraufhin Markovs Ungleichung angewendet wird.

Mein Ziel ist es zu verstehen: Warum gibt diese Technik eine enge Ungleichung und ist sie die engste, die wir erreichen können? Eine typische Erklärung bezieht sich auf die Momenterzeugungseigenschaften des Exponenten. Trotzdem finde ich das zu vage.

Ein Beitrag in Taos Blog, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , könnte einige Antworten enthalten.

In Anbetracht dieses Ziels geht es bei meiner Frage um drei Punkte in Taos Post, an denen ich festhalte und die ich hoffentlich einmal erläutern könnte.

Tao leitet die folgende Ungleichung unter Verwendung des k-ten Moments Wenn dies für k zutrifft, schließt er eine Exponentialgrenze. Hier bin ich verloren.
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
Hoeffding's Lemma wird dargestellt: Lemma 1 (Hoeffding's Lemma) Sei eine skalare Variable, die Werte in einem Intervall annimmt . Dann für alle , ${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + Ö (t^{2} V ein r (X) \exp (Ö (t (b - ein)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ Insbesondere Der Beweis von Lemma 1 beginnt mit der Annahme der Taylorexpansion $E e^{t X} \leq e^{t E X} \exp (Ö (t^{2} (b - ein)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$ Warum kann die Expansion durch diesen quadratischen Term begrenzt werden? und wie folgt Gleichung 10?
Schließlich wird eine Übung gegeben:
Exercise 1 zeigen , daß der Faktor in (10) kann ersetzt werden durch , und dass dies scharf. Dies wäre ein sehr viel kürzerer Beweis als der im Understanding-Beweis eines Lemmas, das bei der Höffding-Ungleichung verwendet wird , aber ich weiß nicht, wie ich das lösen soll. ${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

Weitere Anschauungen / Erklärungen zum Beweis der Ungleichheit oder der Grund, warum wir keine engeren Grenzen ziehen können, sind auf jeden Fall willkommen.

probability probability-inequalities

— Löwe
quelle

Haben Sie die Original-Hoeffding-Zeitung gelesen?

— Alecos Papadopoulos

@ AlecosPapadopoulos habe ich eigentlich nicht. Ich habe den Eindruck, dass die Herleitung dort aus algebraischen Schritten besteht, die normalerweise in Mathematikkursen unterrichtet werden, ohne dass mir die Erklärung fehlt, die ich suche. Kannst du etwas anderes sagen?

— Leo

Ich schlage vor, Sie lesen es. Die stabile URL in jstor lautet jstor.org/stable/2282952 . Was "für Sie am rätselhaftesten ist", sind die Sätze 1, 2 und 3 des Papiers, deren Beweise in Abschnitt 4 des Papiers stehen (nicht am Ende), und sie sehen für mich ziemlich klar aus. Ich weiß nicht, ob Sie nach einer "nicht-mathematischen" Intuition suchen - wenn ja, existiert sie nicht immer.

— Alecos Papadopoulos

$\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ $\mathbb{E}X$ $X$

— gmravi2003
quelle

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

Ich habe es nicht untersucht, aber ich vermute, dass das Exponential einige bestimmte Eigenschaften aufweist, einschließlich der von Ihnen genannten, die von entscheidender Bedeutung sind: Alle Koeffizienten sollten streng positiv sein und es ist praktisch, dass sie absolut überall konvergieren. Ich glaube jedoch, dass es tiefere Gründe gibt, warum diese Funktion wesentlich ist, die mit den Eigenschaften von Fourier- und Laplace-Transformationen zusammenhängen. Es könnte aufschlussreich sein, die Ableitungen der Maßungleichungen zu untersuchen, um zu sehen, welche Eigenschaften des Exponentials wirklich verwendet werden! (+1)

— whuber

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

Ich würde Sie gerne für eine Frage zu dieser engen

— Leo,