Сходимость по вероятности против почти уверенной сходимости

Я никогда не замечал разницу между этими двумя показателями конвергенции. (Или, по сути, любой из различных типов сходимости, но я упоминаю эти два, в частности, из-за слабых и строгих законов больших чисел.)

Конечно, я могу процитировать определение каждого и привести пример, где они различаются, но я все еще не совсем понял.

Какой хороший способ понять разницу? Почему разница важна? Есть ли особенно запоминающийся пример, где они отличаются?

С моей точки зрения, разница важна, но в основном по философским причинам. Предположим, у вас есть какое-то устройство, которое со временем улучшается. Таким образом, каждый раз, когда вы используете устройство, вероятность его отказа ниже, чем раньше.

Сходимость в вероятности говорит о том, что вероятность отказа сводится к нулю, а количество использований уходит в бесконечность. Таким образом, после использования устройства большое количество раз вы можете быть уверены, что оно работает правильно, оно все равно может выйти из строя, просто очень маловероятно.

Конвергенция почти наверняка немного сильнее. Это говорит о том, что общее количество отказов конечно . То есть, если вы посчитаете количество отказов по мере того, как количество использований переходит в бесконечность, вы получите конечное число. Влияние этого заключается в следующем: По мере того, как вы используете устройство все больше и больше, вы, после некоторого конечного числа использований, исчерпаете все сбои. С этого момента устройство будет работать отлично .

Как указывает Срикант, вы на самом деле не знаете, когда исчерпали все неудачи, поэтому с чисто практической точки зрения между этими двумя способами конвергенции нет большой разницы.

Однако лично я очень рад, что, например, существует сильный закон больших чисел, а не только слабый закон. Потому что теперь научный эксперимент по получению, скажем, скорости света оправдан для усреднения. По крайней мере, теоретически, после получения достаточного количества данных, вы можете получить сколь угодно близко к истинной скорости света. В процессе усреднения не будет никаких сбоев (хотя и маловероятных).

Позвольте мне уточнить, что я имею в виду под «неудачами (хотя и маловероятными) в процессе усреднения». Выберите сколь угодно малым. Вы получаете оценок скорости света (или некоторой другой величины), которая имеет некоторое «истинное» значение, скажем . Вы вычисляете среднее значение Поскольку мы получаем больше данных ( увеличивается ), мы можем вычислить для каждого . Слабый закон гласит (при некоторых предположениях о ), что вероятность при переходит в$\delta > 0$$n$$X_1,X_2,\dots,X_n$$\mu$

$$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$$ $n$$S_n$$n = 1,2,\dots$$X_n$ $$P(|S_n - \mu| > \delta) \rightarrow 0$$ $n$$\infty$, Сильный закон гласит, что сколько разбольше, чем , конечно (с вероятностью 1). То есть, если мы определим индикаторную функцию которая возвращает одну, когда и ноль в противном случае, тогда сходится. Это дает вам значительную уверенность в значении , поскольку гарантирует (т.е. с вероятностью 1) существование некоторого конечного такого, что для всех (т. е. среднее значение никогда не дает сбой при$|S_n - \mu|$$\delta$$I(|S_n - \mu| > \delta)$$|S_n - \mu| > \delta$ $$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$$ $S_n$$n_0$n > n 0 n > n $|S_n - \mu| < \delta$$n > n_0$$n > n_0$). Обратите внимание, что слабый закон не дает такой гарантии.

Я знаю , что этот вопрос уже был дан ответ (и очень хорошо, на мой взгляд), но там был другой вопрос здесь , который был комментарий @NRH , что упомянутое графическое объяснение, и вместо того , поместить фотографии там , казалось бы , более уместно положи их сюда.

Итак, здесь идет. Это не так круто, как пакет R. Но он самодостаточен и не требует подписки на JSTOR.

Далее мы говорим о простом случайном блуждании, с равной вероятностью, и вычисляем скользящие средние, S $X_{i}= \pm 1$

$$\frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots.$$

SLLN (сходимость почти наверняка) говорит, что мы можем быть на 100% уверены, что эта кривая, растягивающаяся вправо, в конечном итоге, в какое-то конечное время, полностью попадет в полосы навсегда (справа).

Код R, использованный для создания этого графика, приведен ниже (для краткости обозначения на графиках опущены).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

---

WLLN (сходимость по вероятности) говорит о том, что большая часть траекторий выборки будет находиться в полосах с правой стороны в момент времени (для приведенного выше она выглядит примерно как 48 или 9 из 50). Мы никогда не можем быть уверены, что какая-то конкретная кривая будет внутри в любое конечное время, но смотреть на массу лапши над ней было бы довольно безопасной ставкой. WLLN также говорит, что мы можем сделать пропорцию лапши внутри как можно ближе к 1, сделав сюжет достаточно широким.$n$

Код R для графика следует (опять же, пропуская метки).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

Я понимаю это следующим образом,

Сходимость по вероятности

Вероятность того, что последовательность случайных величин равна целевому значению, асимптотически уменьшается и приближается к 0, но никогда фактически не достигает 0.

Почти верная сходимость

Последовательность случайных переменных будет асимптотически равняться целевому значению, но вы не можете предсказать, в какой момент это произойдет.

Почти уверенная сходимость является более сильным условием поведения последовательности случайных величин, потому что она утверждает, что «что-то обязательно произойдет» (мы просто не знаем, когда). Напротив, сходимость по вероятности гласит, что «в то время как что-то, вероятно, случается», вероятность «чего-то не происходит» асимптотически уменьшается, но никогда фактически не достигает 0. (что-то равно последовательности случайных величин, сходящихся к определенному значению).$\equiv$

В вики есть несколько примеров того и другого, которые должны помочь прояснить вышесказанное (в частности, см. Пример лучника в контексте конвергенции в prob и пример благотворительности в контексте почти уверенной конвергенции).

С практической точки зрения сходимости по вероятности достаточно, так как мы не особенно заботимся об очень маловероятных событиях. В качестве примера, согласованность оценки по существу является сходимостью по вероятности. Таким образом, при использовании непротиворечивой оценки мы косвенно признаем тот факт, что в больших выборках существует очень малая вероятность того, что наша оценка далека от истинного значения. Мы живем с этим «дефектом» сходимости по вероятности, поскольку знаем, что асимптотически вероятность того, что оценщик далек от истины, исчезающе мала.

Если вам нравятся наглядные объяснения, в «Американской статистике» была хорошая статья «Уголок учителя» на эту тему (цитируйте ниже). В качестве бонуса авторы включили пакет R для облегчения обучения.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

Этот последний парень объясняет это очень хорошо. Если вы берете последовательность случайных величин Xn = 1 с вероятностью 1 / n и ноль в противном случае. Легко видеть, что, принимая ограничения, оно сходится к нулю по вероятности, но не сходится почти наверняка. По его словам, вероятность не волнует, что мы могли бы получить один в будущем. Почти наверняка.

Почти наверняка подразумевает сближение по вероятности, но не наоборот?

Одна вещь, которая помогла мне понять разницу - следующая эквивалентность

∀ & epsi ; > $P({\lim_{n\to\infty}|X_n-X|=0})=1 \Leftarrow \Rightarrow \lim_{n\to\infty}({\sup_{m>=n}|X_m-X|>\epsilon })=0$ $\forall \epsilon > 0$

В сравнении стохастическая сходимость:

∀ ϵ > $\lim_{n\to\infty}P(|X_n-X|>\epsilon) = 0$ $\forall \epsilon >0$

Сравнивая правую часть верхней эквивалентности со стохастической сходимостью, я думаю, что разница становится более ясной.