Оценки

Если - выпуклая функция, то неравенство Дженсена утверждает, что , и mutatis mutandis, когда вогнута. Очевидно, что в худшем случае вы не можете получить верхнюю границу в терминах для выпуклого , но есть ли граница, которая идет в этом направлении, если выпуклый, но не слишком выпуклый? Существует ли некоторая стандартная граница, которая задает условия для выпуклой функции (и, возможно, распределения, если необходимо), которая позволила бы вам сделать вывод, что , где $f$ $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ $f$ $\textbf{E}[f(x)]$ $f(\textbf{E}[x])$ $f$ $f$ $f$ $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ $\varphi(f)$ некоторая функция кривизны / степени выпуклости ? Возможно, что-то похожее на состояние Липшица? $f$

randomness pr.probability randomized-algorithms

— Ян
источник

Голосование закрыто как не по теме. math.stackexchange.com может быть?

— Арьябхата

Я думаю, что этот вопрос должен остаться открытым; это такое неравенство, которое многие работающие теоретики сочтут полезным на регулярной основе.

— Аарон Рот

Я знаю, что это ближе к чистой математике, чем большинство вопросов, опубликованных до сих пор, но я бы сказал, что это по теме, поскольку подобные вещи часто встречаются при анализе рандомизированных алгоритмов (это приложение, которое я имею в разум). Я думаю, что математика, которая широко используется в информатике, должна считаться честной игрой для вопросов.

— Ян

голосовать, чтобы держать открытым. определенно по теме

— Суреш Венкат

Я также голосую, чтобы остаться открытым.

— Джефф

РЕДАКТИРОВАТЬ: оригинальная версия пропустила абсолютное значение. извиняюсь!!

Привет, Ян. Я кратко опишу два выборочных неравенства, одно из которых использует границу Липшица, другое - границу второй производной, а затем расскажу о некоторых трудностях в этой задаче. Хотя я избыточен, поскольку подход, использующий одну производную, объясняет, что происходит с большим количеством производных (через Тейлора), оказывается, что вторая производная версия довольно хороша.

Во-первых, с привязкой по Липшицу: просто пересмотрите стандартное неравенство Дженсена. Применяется тот же трюк: вычислить расширение Тейлора с ожидаемым значением.

В частности, пусть имеет соответствующую меру и положим . Если имеет постоянную Липшица , то по теореме Тейлора $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + f^{'} (z) (x - m) \leq f (m) + L | x - m |,

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

где (обратите внимание, что и возможны). Используя это и переделывая доказательство Дженсена (я параноик и проверил, что стандартное действительно есть в Википедии), $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} E (f (X)) & = \int f (x) d μ (x) \leq f (m) \int d μ (x) + L \int | x - m | d μ (x) \\ = f (E (X)) + L E (| X - E (X) |) . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

Теперь предположим, что . В этом случае, $|f''(x)| \leq \lambda$

\begin{aligned} f (x) & = f (m) + f^{'} (m) (x - m) + f^{″} (z) \frac{(x - m)^{2}}{2} \\ \leq f (m) + f^{'} (m) (x - m) + λ \frac{(x - m)^{2}}{2}, \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

и так

\begin{aligned} E (f (X)) & \leq f (m) + f^{'} (m) (E (X) - m) + \frac{λ E ((X - m)^{2})}{2} \\ = f (E (X)) + \frac{λ Var (X)}{2} . \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

Я хотел бы кратко упомянуть несколько вещей. Извините, если они очевидны.

Во-первых, вы не можете просто сказать «wlog », сдвигая распределение, потому что вы меняете отношение между и . $\operatorname{E}(X) = 0$ $f$ $\mu$

Далее следует, что оценка должна каким-то образом зависеть от распределения. Чтобы увидеть это, представьте, что и . Независимо от значения , вы все равно получите . С другой стороны, $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ . Таким образом, изменяя , вы можете сделать зазор между двумя величинами произвольным! Интуитивно понятно, что больше массы отталкивается от среднего значения, и поэтому для любой строго выпуклой функции будет увеличиваться. $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

Наконец, я не вижу, как получить мультипликативный предел, как вы предлагаете. Все, что я использовал в этом посте, является стандартным: теорема Тейлора и производные оценки являются статистикой, и они автоматически дают аддитивные, а не мультипликативные ошибки.

Я подумаю об этом, и что-нибудь напишу. Неясная интуиция заключается в том, что потребуются очень напряженные условия как для функции, так и для распределения, и что аддитивная граница фактически лежит в основе этого.

— Матус
источник

Каждый раз, когда я редактирую, ответ сталкивается. Итак, я укажу: вторая производная граница жесткая для примера, который я привел.

— Матус

Я думаю, что вы правы в том, что аддитивные оценки являются наилучшими из возможных без гораздо более строгих условий для функции.

— Ян

Уважаемый Ян, я думал об этой проблеме немного больше, но главная трудность в моей голове подсказана примером, который я привел, где

, но

, Вы можете ограничить как семейство функций (ограниченные, ограниченные производные, интегрируемые), так и распределение (гладкие, ограниченные, ограниченные моменты), и у вас все еще есть эти примеры. Достаточно иметь симметричную неотрицательную функцию, равную нулю в среднем распределении. Тем не менее, все зависит от ограничений в вашей конкретной проблеме. В общем случае я считаю аддитивную природу фундаментальной.

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— 2010 г.

@Ian: доказательства неравенства Чернова и Азумы-Хеффдинга используют аргументы, напоминающие об этом, так что вы можете прочитать их для вдохновения. См., Например, книгу Митценмахера и Упфаля о рандомизации в вычислительной технике.

— Уоррен Шуди

Для понимания рассмотрим распределение, сконцентрированное на двух значениях; скажем, с равными вероятностями 1/2, что оно равно 1 или 3, откуда . Возьмем и . Рассмотрим функции для которых и . Делая $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ достаточно мала инепрерывносвязывая между этими тремя точками, мы можем сделать кривизну настолько малой, насколько это необходимо. затем $\epsilon$ $f$ $f$

, пока $\textbf{E}[f(x)] = N\epsilon$

. $N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$

Это показывает, что должно быть сколь угодно большим. $\varphi(f)$

— whuber
источник