Den Beweis eines Lemmas verstehen, das in der Hoeffding-Ungleichung verwendet wird

Ich studiere Larry Wassermans Vorlesungsunterlagen zur Statistik, in denen Casella und Berger als Haupttext verwendet werden. Ich arbeite seine Vorlesungsunterlagen Satz 2 durch und stecke in der Ableitung des Lemmas fest, das in Hoeffdings Ungleichung verwendet wird (S. 2-3). Ich reproduziere den Beweis in den Anmerkungen unten und nach dem Beweis werde ich darauf hinweisen, wo ich festsitze.

Lemma

Angenommen, $\mathbb{E}(X) = 0$ und $a \le X \le b$ . Dann $\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$ .

Beweis

Da , können wir X als konvexe Kombination von a und b schreiben , nämlich X = α b + ( 1 - α ) a, wobei α = X - $a \le X \le b$$X$$a$$b$$X = \alpha b + (1 - \alpha) a$ . Durch die Konvexität der Funktiony→ety habenwir$\alpha = \frac{X-a}{b-a}$$y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Nehmen Sie die Erwartungen beider Seiten und verwenden Sie die Tatsache , um zu erhalten$\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

wobei , g ( u ) = - γ u + log ( 1 - γ + γ e u ) und γ = - a / ( b - a ) . Man beachte, dass g ( 0 ) = $u = t(b-a)$$g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$$\gamma = -a /(b-a)$. Auch$g(0) = g^{'}(0) = 0$für allu>0.$g^{''}(u) \le 1/4$$u > 0$

Durch Taylor-Theorem gibt es ein , so dass g ( u ) = g ( 0 ) + u $\varepsilon \in (0, u)$$g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Daher ist .$\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$

Ich konnte dem Beweis folgen bis

aber ich kann nicht herausfinden, wie manu,g(u),γ ableitet.$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$$u, g(u), \gamma$

Ich bin mir nicht sicher, ob ich Ihre Frage richtig verstanden habe. Ich werde versuchen zu antworten: versuche zu schreiben als Funktion vonu=t(b-a): Dies ist natürlich, da Sie eine Grenze ine u

Mithilfe dieser Erfahrung werden Sie wissen, dass es besser ist, sie in der Form zu schreiben . Dann ist z. B. ( u ) = - $e^{g(u)}$ führt zu g ( u

Ist das die Art von Sache, nach der Sie gefragt haben?

Edit: ein paar Kommentare zum Proof

1. Der erste Trick verdient eine sorgfältige Prüfung: Wenn eine konvexe Funktion ist und a ≤ X ≤ b eine zentrierte Zufallsvariable ist, dann ist E ( ϕ ( X ) ) ≤ - $\phi$$a\le X\le b$ wobeiX0die durchPdefinierte diskrete Variable ist (X0=a $$\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$$ $X_0$ Als Ergebnis erhalten Sie, dassX0die zentrierte Variable mit Unterstützung in[a,b] ist,die die höchste Varianz aufweist: Var(X)=E(X2)≤E(X20)=ba2-ab $$\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$$ $X_0$$[a,b]$ Beachten Sie, dass wenn wir eine Stützbreite(b-a)festlegen, diese kleiner als(b-a) $$\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$$ $(b-a)$ wie Dilip in den Kommentaren sagt, liegt dies daran, dass(b-a)2+4ab≥0 ist; Die Grenze ist erreicht füra=-b.$(b-a)^2\over 4$$(b-a)^2 + 4ab \ge 0$$a=-b$

2. $u = t(b-a)$$X$$\mathbb{E}\left( e^{tX} \right) \le s(t)$$b-a=1$$s( t(b-a) )$$s(t)$
   
   $\mathbb{E}(\phi(X))$$\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$$u$$\gamma$$u = u_0 = t_0 (b_0 - a_0)$$\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$$t, a, b$$t = {t_0 \over \alpha}$$a = \alpha a_0$$b = \alpha a_0$

   $$-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$$ $u$

3. $g$$u$$\gamma$
   
   $\gamma = -{a\over b-a}$$1 -\gamma = {b\over b-a}$$at = -\gamma u$$bt = (1-\gamma)u$

   $$\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$$
   
   $\phi=\exp$

Ich hoffe, ich habe es ein wenig geklärt.