Понимание доказательства леммы, используемой в неравенстве Хеффдинга

Я изучаю лекционные заметки Ларри Вассермана по статистике, в которых в качестве основного текста используются Казелла и Бергер. Я работаю над его комплектом лекций 2 и застрял в выводе леммы, используемой в неравенстве Хеффдинга (стр. 2-3). Я воспроизводлю доказательства в примечаниях ниже, и после доказательства я укажу, где я застрял.

лемма

Предположим, что и что . Тогда .≤ х ≤ б Е ( е т Х ) ≤ е т 2 ( б - ) 2 /$\mathbb{E}(X) = 0$$a \le X \le b$$\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

доказательство

Поскольку , мы можем записать как выпуклую комбинацию и , а именно где . По выпуклости функции имеем$a \le X \le b$$X$$a$$b$$X = \alpha b + (1 - \alpha) a$$\alpha = \frac{X-a}{b-a}$$y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

Возьмите ожидания обеих сторон и используйте факт чтобы получить$\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

где , и . Обратите внимание, что . Также для всех u> 0 .g ( u ) = - γ u + log ( 1 - γ + γ e u ) γ = - a / ( b - a ) g ( 0 ) = $u = t(b-a)$$g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$$\gamma = -a /(b-a)$$g(0) = g^{'}(0) = 0$$g^{''}(u) \le 1/4$$u > 0$

По теореме Тейлора существует $\varepsilon \in (0, u)$ такой, что $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

Следовательно , $\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$ .

Я мог бы следовать доказательствам до

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ но я не могу понять, как получить .$u, g(u), \gamma$

Я не уверен, что правильно понял ваш вопрос. Я постараюсь ответить: попробуйте написать как функцию : это естественно, так как вы хотите, чтобы оценка в .

Помогал опыт, вы будете знать , что лучше выбрать , чтобы записать его в виде . Тогда приводит к с .$e^{g(u)}$

Это то, о чем вы просили?

Изменить: несколько комментариев на доказательство

1. Первый трюк заслуживает внимательного рассмотрения: если - выпуклая функция и - центрированная случайная величина, то где - это дискретная переменная, определяемая Как следствие, вы получите , что является центрированная переменная с поддержкой в которая имеет наибольшую дисперсию: Обратите внимание, что если мы фиксируем ширину опоры$\phi$$a\le X\le b$ $$\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$$ $X_0$ $$\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$$ $X_0$$[a,b]$ $$\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$$ $(b-a)$, это меньше, чем как говорит Дилип в комментариях, потому что ; оценка достигается для .$(b-a)^2\over 4$$(b-a)^2 + 4ab \ge 0$$a=-b$

2. Теперь перейдем к нашей проблеме. Почему можно получить оценку в зависимости только от ? Интуитивно понятно, что это всего лишь вопрос масштабирования : если у вас есть граница для случая , тогда общая оценка можно получить, взяв . Теперь подумайте о наборе центрированных переменных с поддержкой ширины 1: свободы не так много, поэтому должна существовать граница типа . Другой подход заключается в том, чтобы просто сказать, что согласно приведенной выше лемме о , то в более общем смысле , которое зависит только от и$u = t(b-a)$$X$$\mathbb{E}\left( e^{tX} \right) \le s(t)$$b-a=1$$s( t(b-a) )$$s(t)$
   
   $\mathbb{E}(\phi(X))$$\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$$u$$\gamma$ : если вы исправите и , и пусть изменяются, то существует только одна степень свободы, и , , . Мы получаем Вы просто должны найти связанные с участием только .$u = u_0 = t_0 (b_0 - a_0)$$\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$$t, a, b$$t = {t_0 \over \alpha}$$a = \alpha a_0$$b = \alpha a_0$

   $$-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$$ $u$

3. Теперь мы уверены, что это можно сделать, это должно быть намного проще! Вам не обязательно думать , чтобы начать с. Дело в том, что вы должны написать все как функцию от и . Сначала обратите внимание, что , , и . Тогда Теперь мы находимся в частном случае ... I думаю, что вы можете закончить.$g$$u$$\gamma$
   
   $\gamma = -{a\over b-a}$$1 -\gamma = {b\over b-a}$$at = -\gamma u$$bt = (1-\gamma)u$

   $$\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$$
   
   $\phi=\exp$

Надеюсь, я прояснил это немного.