Как мы можем ограничить вероятность того, что случайная величина максимальна?

$\newcommand{\P}{\mathbb{P}}$ Предположим, у нас есть $N$ независимых случайных величин $X_1$ , $\ldots$ , $X_n$ с конечными средними $\mu_1 \leq \ldots \leq \mu_N$ и дисперсиями $\sigma_1^2$ , $\ldots$ , $\sigma_N^2$ . Я ищу границы без распределения для вероятности того, что любой $X_i \neq X_N$ больше, чем все другие $X_j$ , $j \neq i$ .

Другими словами, если для простоты мы предполагаем, что распределения $X_i$ непрерывны (например, $\P(X_i = X_j) = 0$ ), я ищу границы на:

P (X_{i} = max_{j} X_{j}) .

$\P( X_i = \max_j X_j ) \enspace.$ Если

N = 2

$N=2$ , мы можем использовать неравенство Чебышева, чтобы получить:

P (X_{1} = max_{j} X_{j}) = P (X_{1} > X_{2}) \leq \frac{σ_{1}^{2} + σ_{2}^{2}}{σ_{1}^{2} + σ_{2}^{2} + (μ_{1} - μ_{2})^{2}} .

$\P(X_1 = \max_j X_j) = \P(X_1 > X_2) \leq \frac{\sigma_1^2 + \sigma_2^2}{\sigma_1^2 + \sigma_2^2 + (\mu_1 - \mu_2)^2} \enspace.$ Я хотел бы найти простые (не обязательно плотно) оценки для общих

N

$N$ , но я не смог найти (эстетический) приятные результаты для общего

N

$N$ .

Обратите внимание, что переменные не считаются iid. Любые предложения или ссылки на связанные работы приветствуются.

Обновление: напомним, что по предположению $\mu_j \geq \mu_i$ . Затем мы можем использовать вышеуказанную границу для получения:

P (X_{i} = max_{j} X_{j}) \leq min_{j > i} \frac{σ_{i}^{2} + σ_{j}^{2}}{σ_{i}^{2} + σ_{j}^{2} + (μ_{j} - μ_{i})^{2}} \leq \frac{σ_{i}^{2} + σ_{N}^{2}}{σ_{i}^{2} + σ_{N}^{2} + (μ_{N} - μ_{i})^{2}} .

$\P(X_i = \max_j X_j) \leq \min_{j > i} \frac{\sigma_i^2 + \sigma_j^2}{\sigma_i^2 + \sigma_j^2 + (\mu_j - \mu_i)^2} \leq \frac{\sigma_i^2 + \sigma_N^2}{\sigma_i^2 + \sigma_N^2 + (\mu_N - \mu_i)^2} \enspace.$ Это подразумевает:

(μ_{N} - μ_{i}) P (X_{i} = max_{j} X_{j}) \leq (μ_{N} - μ_{i}) \frac{σ_{i}^{2} + σ_{N}^{2}}{σ_{i}^{2} + σ_{N}^{2} + (μ_{N} - μ_{i})^{2}} \leq \frac{1}{2} \sqrt{σ_{i}^{2} + σ_{N}^{2}} .

$( \mu_N - \mu_i ) \P( X_i = \max_j X_j ) \leq (\mu_N - \mu_i) \frac{\sigma_i^2 + \sigma_N^2}{\sigma_i^2 + \sigma_N^2 + (\mu_N - \mu_i)^2} \leq \frac{1}{2} \sqrt{ \sigma_i^2 + \sigma_N^2 } \enspace.$ Это, в свою очередь, подразумевает:

\sum_{i = 1}^{N} μ_{i} P (X_{i} = max_{j} X_{j}) \geq μ_{N} - \frac{N}{2} \sqrt{\sum_{i = 1}^{N - 1} (σ_{i}^{2} + σ_{N}^{2})} .

$\sum_{i=1}^N \mu_i \P( X_i = \max_j X_j ) \geq \mu_N - \frac{N}{2} \sqrt{ \sum_{i=1}^{N-1} (\sigma_i^2 + \sigma_N^2) } \enspace.$ Теперь мне интересно, можно ли улучшить эту границу до того, что не зависит линейно от

N

$N$ ? Например, имеет ли место следующее:

\sum_{i = 1}^{N} μ_{i} P (X_{i} = max_{j} X_{j}) \geq μ_{N} - \sqrt{\sum_{i = 1}^{N} σ_{i}^{2}} ?

$\sum_{i=1}^N \mu_i \P( X_i = \max_j X_j ) \geq \mu_N - \sqrt{ \sum_{i=1}^N \sigma_i^2 } \enspace?$ А если нет, то что может быть контрпримером?

probability bounds maximum

— Номер
источник

Эта оценка может быть сильнее , если вы используете индекс , который дает вам меньше верхней границы вместо . Обратите внимание, что это значение зависит как от среднего значения, так и от дисперсии.

j

$j$

N

$N$

@MichaelChernick: Я не верю, что это правильно. Предположим, например, что у нас есть три равномерных распределения на . Тогда, если я не ошибаюсь, , тогда как . Я не знаю, если вы хотели написать , но тогда тот же пример показывает, что он все еще не действителен.

[0, 1]

$[0,1]$

P (X_{1} < max_{j} X_{j}) = 2 / 3

$P( X_1 < \max_j X_j ) = 2/3$

P (X_{1} < X_{2}) = P (X_{1} < X_{3}) = 1 / 2

$P(X_1 < X_2) = P(X_1 < X_3) = 1/2$

P (X_{i} > max_{j} X_{j})

$P( X_i > \max_j X_j )$

— MLS

@Michael: К сожалению, это все еще не так. События для фиксированного не являются независимыми.

A_{j} = {X_{i} > X_{j}}

$A_j = \{X_i > X_j\}$

i

$i$

— кардинал

@cardinal: Среди прочего, это связано с многорукими бандитами. Если вы выбираете руку на основе предыдущих наград, насколько велика вероятность того, что вы выбрали лучшую руку (это будет в нотации выше), и можем ли мы связать ожидаемую потерю при выборе -оптимальная рука?

P (X_{N} = max_{j} X_{j})

$P(X_N = \max_j X_j)$

— MLS

Внесено в MathOverflow: mathoverflow.net/questions/99313

— кардинал

Ответы:

Вы можете использовать многомерное неравенство Чебышева.

Случай двух переменных

Для одной ситуации, против , я прихожу в ту же ситуацию, что и комментарий Йохена 4 ноября 2016 г. $X_1$ $X_2$

1) Если то $\mu_1 < \mu_2$ $P(X_1>X_2) \leq (\sigma_1^2 + \sigma_2^2)/(\mu_1-\mu_2)^2$

(и мне интересно также о вашем происхождении)

Вывод уравнения 1

используя новую переменную $X_1-X_2$
превращая его так, чтобы он имел среднее значение в ноль
принимая абсолютное значение
применяя неравенство Чебышева

\begin{matrix} P (X_{1} > X_{2}) & = P (X_{1} - X_{2} > 0) \\ = P (X_{1} - X_{2} - (μ_{1} - μ_{2}) > - (μ_{1} - μ_{2})) \\ \leq P (| X_{1} - X_{2} - (μ_{1} - μ_{2}) | > μ_{2} - μ_{1}) \\ \leq \frac{σ_{(X_{1} - X_{2} - (μ_{1} - μ_{2}))}^{2}}{(μ_{2} - μ_{1})^{2}} = \frac{σ_{X_{1}}^{2} + σ_{X_{2}}^{2}}{(μ_{2} - μ_{1})^{2}} \end{matrix}

$\begin{array} \\ P \left( X_1 > X_2 \right) &= P \left( X_1 - X_2 > 0 \right)\\ &= P\left( X_1 - X_2 - (\mu_1 - \mu_2) > - (\mu_1 - \mu_2)\right) \\ &\leq P\left( \vert X_1 - X_2 - (\mu_1 - \mu_2) \vert > \mu_2 - \mu_1\right) \\ &\leq \frac{\sigma_{(X_1-X_2- (\mu_1 - \mu_2))}^2}{(\mu_2 - \mu_1)^2} = \frac{\sigma_{X_1}^2+\sigma_{X_2}^2}{(\mu_2 - \mu_1)^2}\\ \end{array}$

Многомерный случай

Неравенство в уравнении (1) можно изменить в многомерный случай, применив его к нескольким преобразованным переменным для каждого (обратите внимание, что они коррелированы). $(X_n-X_i)$ $i<n$

Решение этой проблемы (многомерное и коррелированное) было описано И. Олкиным и Дж. В. Праттом. «Многомерное неравенство Чебышева» в анналах математической статистики, том 29, страницы 226-234 http://projecteuclid.org/euclid.aoms/1177706720

Примечание теорема 2.3

$P(\vert y_i \vert \geq k_i \sigma_i \text{ for some } i) = P(\vert x_i \vert \geq 1 \text{ for some } i) \leq \frac{(\sqrt{u} + \sqrt{(pt-u)(p-1)})^2}{p^2}$

в которой число переменных, и . $p$ $t=\sum k_i^{-2}$ $u=\sum \rho_{ij}/(k_ik_j)$

Теорема 3.6 дает более жесткую оценку, но ее не так просто вычислить.

редактировать

Более точная оценка может быть найдена с помощью многомерного неравенства Кантелли . Это неравенство является типом, который вы использовали ранее и предоставили вам границу который острее, чем . $(\sigma_1^2 + \sigma_2^2)/(\sigma_1^2 + \sigma_2^2 + (\mu_1-\mu_2)^2)$ $(\sigma_1^2 + \sigma_2^2)/(\mu_1-\mu_2)^2$

Я не потратил время на изучение всей статьи, но в любом случае вы можете найти решение здесь:

А. В. Маршалл и И. Олкин «Одностороннее неравенство чебышевского типа» в анналах математической статистики, том 31, стр. 488-491 https://projecteuclid.org/euclid.aoms/1177705913

(примечание позже: это неравенство для равных корреляций и недостаточной помощи. Но в любом случае ваша задача, чтобы найти самую точную границу, равна более общему, многомерному неравенству Кантелли. Я был бы удивлен, если бы решения не существовало)

— Секст Эмпирик
источник

Не могли бы вы дать четкое утверждение о многомерном неравенстве Чебышева?

— whuber

Я отредактировал решение, предоставив всю теорему.

— Секст Эмпирик

-1

Я нашел теорему, которая может вам помочь, и постараюсь приспособить ее к вашим потребностям. Предположим, у вас есть:

e x p (t \cdot E (\underset{1 \leq i \leq n}{m a x} X_{i}))

$exp(t \cdot \mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i}))$

Тогда по неравенству Дженсена (поскольку exp (.) - выпуклая функция), мы получим:

e x p (t \cdot E (\underset{1 \leq i \leq n}{m a x} X_{i})) \leq E (e x p (t \cdot \underset{1 \leq i \leq n}{m a x} X_{i})) = E (\underset{1 \leq i \leq n}{m a x} e x p (t \cdot X_{i})) \leq \sum_{i = 1}^{n} E (e x p (t \cdot X_{i})

$exp(t \cdot \mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i})) \leq \mathbf{E}(exp( t \cdot \underset{1 \leq i \leq n}{max}X_{i})) = \mathbf{E}( \underset{1 \leq i \leq n}{max} \text{ }exp( t \cdot X_{i})) \leq \sum_{i=1}^{n} \mathbf{E} (exp(t \cdot X_{i})$

Теперь для вы должны подключить любую функцию, генерирующую момент вашей случайной величины (поскольку это просто определение mgf). Затем, после этого (и потенциально упрощая ваш термин), вы берете этот термин и берете логарифм и делите его на t, чтобы получить утверждение о термине . Затем вы можете выбрать t с некоторым произвольным значением (лучше всего, чтобы член был маленьким, чтобы граница была жесткой). $exp(t \cdot X_{i}$ $X_{i}$ $\mathbf{E}(\underset{1 \leq i \leq n}{max}X_{i})$

Затем у вас есть заявление об ожидаемом значении максимума за n rvs. Чтобы получить утверждение о вероятности того, что максимум этих rv отклоняется от этого ожидаемого значения, вы можете просто использовать неравенство Маркова (предполагая, что ваш rv неотрицательный) или другой, более конкретный rv, применимый к вашему конкретному rv.

— Фабиан Фальк
источник