Ungleichungen bei der Messung von Konzentrationen verstehen

Im Geiste dieser Frage versuche ich, die Schritte zu verstehen, die zur Ungleichung von Hoeffding führen, indem ich den Beweis für ein Lemma verstehe, das bei der Ungleichung von Hoeffding verwendet wird.

Was für mich das größte Rätsel beim Beweis ist, ist der Teil, in dem Exponentialmomente für die Summe der iid-Variablen berechnet werden, woraufhin Markovs Ungleichung angewendet wird.

Mein Ziel ist es zu verstehen: Warum gibt diese Technik eine enge Ungleichung und ist sie die engste, die wir erreichen können? Eine typische Erklärung bezieht sich auf die Momenterzeugungseigenschaften des Exponenten. Trotzdem finde ich das zu vage.

Ein Beitrag in Taos Blog, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , könnte einige Antworten enthalten.

In Anbetracht dieses Ziels geht es bei meiner Frage um drei Punkte in Taos Post, an denen ich festhalte und die ich hoffentlich einmal erläutern könnte.

1. Tao leitet die folgende Ungleichung unter Verwendung des k-ten Moments Wenn dies für k zutrifft, schließt er eine Exponentialgrenze. Hier bin ich verloren. P(|Sn|≥λ

   $$\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$$ $$\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$$

2. Hoeffding's Lemma wird dargestellt: Lemma 1 (Hoeffding's Lemma) Sei eine skalare Variable, die Werte in einem Intervall [ a , b ] annimmt . Dann für alle t > 0 , E e t X ≤ e t E X ( 1 + O ( t 2 V a r ( X ) exp ( O ( t ( b - a ) ) ) ) . ( 9 ${X}$${[a,b]}$${t>0}$

   $$\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$$ Insbesondere Der Beweis von Lemma 1 beginnt mit der Annahme der Taylorexpansion e t X = 1 + t X + O ( t 2 X 2 exp ( O ( t ) ) $$\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$ Warum kann die Expansion durch diesen quadratischen Term begrenzt werden? und wie folgt Gleichung 10?

3. Schließlich wird eine Übung gegeben:
   Exercise 1 zeigen , daß der Faktor in (10) kann ersetzt werden durch t 2 ( b - ein ) 2 / 8 , und dass dies scharf. Dies wäre ein sehr viel kürzerer Beweis als der im Understanding-Beweis eines Lemmas, das bei der Höffding-Ungleichung verwendet wird , aber ich weiß nicht, wie ich das lösen soll.${O(t^2(b-a)^2)}$${t^2 (b-a)^2/8}$

Weitere Anschauungen / Erklärungen zum Beweis der Ungleichheit oder der Grund, warum wir keine engeren Grenzen ziehen können, sind auf jeden Fall willkommen.

$\mathbb{E}e^X$$\mathbb{E} X$$X$$\mathbb{E} e^X$$\mathbb{E}X$$\mathbb{E} e^X$$\mathbb{E} e^X$$e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$$X$$\mathbb{E}X$$X$