Понимание меры концентрации неравенства

В духе этого вопроса Понимая доказательство леммы, используемой в неравенстве Хеффдинга , я пытаюсь понять шаги, которые приводят к неравенству Хеффдинга.

Что является для меня самым загадочным в доказательстве, так это то, что экспоненциальные моменты вычисляются для суммы переменных iid, после чего применяется неравенство Маркова.

Моя цель состоит в том, чтобы понять: почему этот метод дает жесткое неравенство и является ли он самым трудным для достижения? Типичное объяснение относится к моменту, генерирующему свойства показателя степени. Тем не менее, я нахожу это слишком расплывчатым.

Сообщение в блоге Тао, http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff , может содержать некоторые ответы.

Учитывая эту цель, мой вопрос касается трех пунктов в посте Дао, которые я застрял и которые, как я надеюсь, могли бы дать понимание после объяснения.

Тао выводит следующее неравенство, используя k-й момент Если это верно для любого k, он завершает экспоненциальную оценку. Это где я потерян.
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
Представлена лемма Хеффдинга: Лемма 1 (лемма Хеффдинга) Пусть - скалярная переменная, принимающая значения в интервале . Тогда для любого , В частности Доказательство леммы 1 начинается с ожидания от разложения Тейлора Почему разложение может быть ограничено этим квадратичным членом? И как следует уравнение 10? ${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + O (t^{2} V a r (X) \exp (O (t (b - a)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ $E e^{t X} \leq e^{t E X} \exp (O (t^{2} (b - a)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$
Наконец, дано упражнение:
Упражнение 1 Покажите, что фактор в (10) можно заменить на , и это острый. Это дало бы гораздо более короткое доказательство, чем доказательство леммы, используемой в неравенстве Хеффдинга , в разделе « Понимание» , но я не знаю, как это решить. ${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

Любые дальнейшие интуиции \ объяснения о доказательстве неравенства или причинах, по которым мы не можем установить более жесткую границу, определенно приветствуются.

probability probability-inequalities

— Лео
источник

Вы читали оригинальную статью Хоффдинга?

— Алекос Пападопулос

@AlecosPapadopoulos Я на самом деле нет. У меня сложилось впечатление, что вывод состоит из алгебраических шагов, которые обычно преподаются на курсах по математике, и мне не хватает объяснения, которое я ищу. Вы можете сказать иначе?

— Лев

Я предлагаю вам прочитать это. Стабильный URL в jstor - это jstor.org/stable/2282952 . Что «больше всего загадочно для вас», так это теоремы 1, 2 и 3 статьи, доказательства которых приведены в разделе 4 статьи (но не в конце), и они кажутся мне достаточно ясными. Я не знаю, ищете ли вы какую-то «нематематическую» интуицию - если да, она не всегда существует.

— Алекос Пападопулос

$\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ $\mathbb{E}X$ $X$

— gmravi2003
источник

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

Я не рассматривал это, но подозреваю, что экспонента обладает некоторыми конкретными свойствами, включая те, которые вы называете, которые являются критическими: все коэффициенты должны быть строго положительными, и удобно, чтобы они сходились абсолютно везде. Но я полагаю, что есть более глубокие причины, почему эта функция важна, связанная со свойствами преобразований Фурье и Лапласа. Возможно, было бы интересно изучить выводы о неравенствах меры, чтобы увидеть, какие свойства экспоненты действительно используются! (+1)

— whuber

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

Я хотел бы заинтересовать вас вопросом об ограниченности этой границы: stats.stackexchange.com/questions/77019/…

— Лев