Интуитивное объяснение сходимости в распределении и сходимости по вероятности

Какова интуитивная разница между случайной величиной, сходящейся по вероятности, и случайной величиной, сходящейся по распределению?

Я прочитал множество определений и математических уравнений, но это не очень помогает. (Пожалуйста, имейте в виду, я студент, изучающий эконометрику.)

Как случайная величина может сходиться к одному числу, но также сходиться к распределению?

Как случайное число может сходиться к константе?

Допустим, у вас есть шаров в коробке. Вы можете выбрать их по одному. После того, как вы выбрали k шаров, я спрашиваю вас: каков средний вес шаров в коробке? Ваш лучший ответ будет ˉ x k = $N$$k$. Вы понимаетечто ˉ х ксама случайная величина? Это зависит от того, какиеkшаров ты выбрал первым.$\bar x_k=\frac{1}{k}\sum_{i=1}^kx_i$$\bar x_k$$k$

Теперь, если вы продолжите тянуть шары, в какой-то момент в коробке не останется никаких шаров, и вы получите .$\bar x_N\equiv\mu$

Итак, что у нас есть это случайная последовательность , которая сходится к константе ˉ х N = ц . Итак, ключом к пониманию вашей проблемы со сходимостью по вероятности является понимание того, что мы говорим о последовательности случайных величин, построенных определенным образом .

Далее, давайте получим равномерные случайные числа , где e i ∈ [ 0 , 1 ] . Давайте посмотрим на случайную последовательность ξ 1 , ξ 2 , … , где ξ k = $e_1,e_2,\dots$$e_i\in [0,1]$$\xi_1,\xi_2,\dots$. Ξкявляется случайной величиной, таквсе его условия являются случайными величинами. Мы не можем предсказать, что будетξk. Однако оказывается, что мы можем утверждать, что распределения вероятностейξkбудут все больше и больше походить на стандартную нормальN(0,1). Вот так сходятся распределения.$\xi_k=\frac{1}{\sqrt{\frac{k}{12}}}\sum_{i=1}^k \left(e_i- \frac{1}{2} \right)$$\xi_k$$\xi_k$$\xi_k$$\mathcal{N}(0,1)$

Не ясно, насколько интуитивно понятен читатель этого вопроса о сходимости чего-либо, не говоря уже о случайных переменных, поэтому я напишу, как будто ответ «очень мало». То , что могло бы помочь: а не думать « как может случайная величина сходится», спросите , как последовательность случайных величин может сходиться. Другими словами, это не просто одна переменная, а (бесконечно длинный!) Список переменных, и те, которые позже в списке, становятся все ближе и ближе к ... чему-то. Возможно, один номер, возможно, целый дистрибутив. Чтобы развить интуицию, нам нужно понять, что означает «все ближе и ближе». Причина, по которой существует так много способов сходимости для случайных величин, заключается в том, что существует несколько типов

Сначала давайте подведем итоги сходимости последовательностей действительных чисел. В мы можем использовать евклидово расстояние | х - у | измерить, насколько близко х к у . Рассмотрим x n = n + $\mathbb{R}$ $|x-y|$$x$$y$ . Тогда последовательностьх1$x_n = \frac{n+1}{n} = 1 + \frac{1}{n}$ начинается 2 , $x_1, \, x_2, \, x_3, \dots$и я утверждаю, чтоxnсходится к1. Ясно, чтоxnстановитсяближек1, но также верно, чтоxnприближается к0.9. Например, начиная с третьего слагаемого, члены в последовательности находятся на расстоянии0,5или менее от0,9. Важно точто они получаютпроизвольноблизко к1, но не0,9. Никакие термины в последовательности никогда не встречаются в пределах0,05от$2, \frac{3}{2}, \frac{4}{3}, \frac{5}{4}, \frac{6}{5}, \dots$$x_n$$1$$x_n$$1$$x_n$$0.9$$0.5$$0.9$$1$$0.9$$0.05$$0.9$не говоря уже о том, чтобы оставаться так близко для последующих сроков. В отличие от равно 0,05 от 1 , и все последующие члены находятся в пределах 0,05 от 1 , как показано ниже.$x_{20}=1.05$$0.05$$1$$0.05$$1$

Я мог бы быть более строгим и требовать, чтобы условия находились и оставались в пределах от 1 , и в этом примере я нахожу, что это верно для условий N = 1000 и далее. Более того, я мог выбрать любой фиксированный порог близости ϵ , независимо от того, насколько он строг (кроме ϵ = 0 , то есть термин фактически равен 1 ), и в конечном итоге условие | х н - х | < ϵ будет выполняться для всех терминов, выходящих за рамки определенного термина (символически: для n > N , где значение $0.001$$1$$N=1000$$\epsilon$$\epsilon = 0$$1$$|x_n - x| \lt \epsilon$$n \gt N$$N$зависит от того, насколько строго апа я выбрал). Для более сложных примеров, обратите внимание, что меня не всегда интересует, когда условие выполняется в первый раз - следующий термин может не подчиняться условию, и это хорошо, если я могу найти термин дальше по последовательности, для которой условие выполнено и остается выполненным для всех последующих условий. Я иллюстрирую это для х п = 1 + грех ( п $\epsilon$ , который также сходится к1, сϵ=0,05снова заштриховано.$x_n = 1 + \frac{\sin(n)}{n}$$1$$\epsilon=0.05$

Теперь рассмотрим и последовательность случайных величин X n = ( 1 + $X \sim U(0,1)$. Это последовательность RV сX1=2X,X2=$X_n = \left(1 + \frac{1}{n}\right) X$$X_1 = 2X$,X3=$X_2 = \frac{3}{2} X$и тд. В каком смысле мы можем сказать, что это приближается ксамомуX?$X_3 = \frac{4}{3} X$$X$

Поскольку и X являются распределениями, а не просто числами, условие | X n - X | < Ε в настоящее время является событием : даже при фиксированном п и & epsi ; это может или не может произойти . Рассмотрение вероятности того, что оно будет достигнуто, приводит к сходимости по вероятности . Для X n p → X нам нужна дополнительная вероятность P ( | X n - X | ≥ ϵ $X_n$$X$$|X_n - X| \lt \epsilon$$n$$\epsilon$$X_n \overset{p}{\to} X$$P(|X_n - X| \ge \epsilon)$- интуитивно, вероятность того, что будет несколько отличаться (по крайней мере на ϵ ) от X, - стать сколь угодно малой для достаточно большого n . Для фиксированного ϵ это приводит к целой последовательности вероятностей , P ( | X 1 - X | ≥ ϵ ) , P ( | X 2 - X | ≥ ϵ ) , P ( | X 3 - X |$X_n$$\epsilon$$X$$n$$\epsilon$$P(|X_1 - X| \ge \epsilon)$$P(|X_2 - X| \ge \epsilon)$ , ... и если эта последовательность вероятности сходятся к нулю (какпроисходит в нашем примере)то мы говорим , Х п сходится по вероятности к X . Обратите вниманиечто пределы вероятностей часто являются константами: напримерв регрессиях в эконометрике, мы видим Plim ( β ) = β по мере увеличения размера выборки п . Но здесь plim ( X n ) = X ∼ U ( 0 , 1 ) . По сути, сходимость по вероятности означает, что маловероятно, что$P(|X_3 - X| \ge \epsilon)$$\dots$$X_n$$X$$\text{plim}(\hat \beta) = \beta$$n$$\text{plim}(X_n) = X \sim U(0,1)$ и X будут сильно отличаться в зависимости от конкретной реализации - и я могу сделать так, чтобы вероятность того, что X n и X будут дальше, чем ϵ друг от друга, настолько мала, насколько мне нравится, при условии, что я выберу достаточно большое n .$X_n$$X$$X_n$$X$$\epsilon$$n$

Другой смысл, в котором становится ближе к X, состоит в том, что их распределения выглядят все более похожими. Я могу измерить это, сравнивая их CDF. В частности, выберите некоторый x, при котором F X ( x ) = P ( X ≤ x ) является непрерывным (в нашем примере X ∼ U ( 0 , 1 ), так что его CDF непрерывен везде, и любой x сделает), и оцените CDF последовательности X n s там. Это производит другую последовательность вероятностей,$X_n$$X$$x$$F_X(x) = P(X \leq x)$$X \sim U(0,1)$$x$$X_n$ , P ( X 2 ≤ x ) , P ( X 3 ≤ x ) , … и эта последовательность сходится к P ( X ≤ x ) . CDF, оцененные в x для каждого из X n, становятся произвольно близкими к CDF X, оцененному в x . Если этот результат верен независимо от того, какой x мы выбрали, то X n сходится к$P(X_1 \leq x)$$P(X_2 \leq x)$$P(X_3 \leq x)$$\dots$$P(X \leq x)$$x$$X_n$$X$$x$$x$$X_n$ в распределении. Оказывается, это происходит здесь, и мы не должны удивлятьсятак как сходимость по вероятности к X влечет сходимость по распределению к X . Обратите внимание, чтоэто не может быть случай, когда X n сходится по вероятности к конкретному невырожденному распределению, но сходится по распределению к константе. (Что могло быть причиной путаницы в первоначальном вопросе? Но обратите внимание на уточнение позже.)$X$ $X$$X$$X_n$

Для другого примера, пусть . Теперь у нас есть последовательность RVs,Y1∼U(1,2),Y2∼U(1,$Y_n \sim U(1, \frac{n+1}{n})$$Y_1 \sim U(1,2)$,Y3∼U(1,$Y_2 \sim U(1,\frac{3}{2})$,…и ясно, что распределение вероятностей вырождается в пик приy=1. Теперь рассмотрим вырожденное распределениеY=1, под которым я подразумеваюP(Y=1)=1. Легко видеть, что для любогоϵ>0последовательностьP(|Yn-Y|≥ϵ)сходится к нулю, так чтоYnсходится к$Y_3 \sim U(1,\frac{4}{3})$$\dots$$y=1$$Y=1$$P(Y=1)=1$$\epsilon \gt 0$$P(|Y_n - Y| \ge \epsilon)$$Y_n$$Y$в вероятности. Как следствие, также должен сходиться к Y в распределении, что мы можем подтвердить, рассматривая CDF. Поскольку CDF F Y ( y ) для Y является прерывистым при y = 1, нам не нужно рассматривать CDF, оцененные при этом значении, но для CDF, оцененных при любом другом y, мы можем видеть, что последовательность P ( Y 1 ≤ y ) , P ( Y 2 ≤ y ) , P ( Y 3$Y_n$$Y$$F_Y(y)$$Y$$y=1$$y$$P(Y_1 \leq y)$$P(Y_2 \leq y)$ , … сходится к P ( Y ≤ y ), который равен нулю для y < 1 иравенединице для y > 1 . На этот раз, поскольку последовательность RV сходилась по вероятности к константе, она также сходилась по распределению к константе.$P(Y_3 \leq y)$$\dots$$P(Y \leq y)$$y \lt 1$$y \gt 1$

Некоторые последние уточнения:

• Хотя сходимость по вероятности подразумевает сходимость по распределению, обратное в целом неверно. То, что две переменные имеют одинаковое распределение, не означает, что они должны быть близки друг к другу. Для тривиального примера возьмем и Y = 1 - X . Тогда X и Y оба имеют абсолютно одинаковое распределение (с вероятностью 50%, каждый из которых равен нулю или единице) и последовательность X n = X, то есть последовательность, идущая X , X , X , X , $X\sim\text{Bernouilli}(0.5)$$Y=1-X$$X$$Y$$X_n=X$$X,X,X,X,\dots$тривиально сходится по распределению к (CDF в любой позиции в последовательности такой же, как CDF Y ). Но Y и X всегда едины, поэтому P ( | X n - Y | ≥ 0.5 ) = 1, поэтому не стремится к нулю, поэтому X n не сходится к Y по вероятности. Однако, если есть сходимость в распределении к константе , то это означает сходимость по вероятности к этой константе (интуитивно, в дальнейшем в последовательности станет маловероятно, что она будет далека от этой константы).$Y$$Y$$Y$$X$$P(|X_n - Y| \ge 0.5)=1$$X_n$$Y$
• Как показывают мои примеры, сходимость по вероятности может быть постоянной, но не обязательно; сходимость в распределении также может быть постоянной. Невозможно сходиться по вероятности к константе, но сходиться по распределению к конкретному невырожденному распределению или наоборот.
• Возможно ли, что вы видели пример, в котором, например, вам сказали, что последовательность сходится с другой последовательностью Y n ? Возможно, вы не поняли, что это была последовательность, но раздача была бы, если бы это был дистрибутив, который также зависел от n . Возможно, что обе последовательности сходятся к константе (то есть вырожденному распределению). Ваш вопрос предполагает, что вам интересно, как конкретная последовательность RV может сходиться как к константе, так и к распределению; Интересно, это сценарий, который вы описываете?$X_n$ $Y_n$$n$
• Мое текущее объяснение не очень «интуитивно» - я собирался сделать интуицию графической, но у меня еще не было времени, чтобы добавить графики для RV.

На мой взгляд, все существующие ответы несут полезную информацию, но они не дают четкого различия между двумя способами конвергенции.

Пусть , n = 1 , 2 , … и Y - случайные величины. Для интуиции представьте, что X n присваиваются их значения в каком-то случайном эксперименте, который немного меняется для каждого n , давая бесконечную последовательность случайных переменных, и предположим, что Y получает свое значение, назначенное каким-то другим случайным экспериментом.$X_n$$n=1,2,\dots$$Y$$X_n$$n$$Y$

Если , мы по определению имеем, что вероятность того, что Y и X n отличаются друг от друга на какое-то сколь угодно малое значение, приближается к нулю при n → ∞ для столь же малого количества, как вам нравится. Грубо говоря, далеко в последовательности X n мы уверены, что X n и Y примут значения, очень близкие друг к другу.$X_n\overset{p}{\to}Y$$Y$$X_n$$n\to\infty$$X_n$$X_n$$Y$

С другой стороны, если мы имеем только сходимость по распределению и не сходимости по вероятности, то мы знаем , что при больших , Р ( Х п ≤ х ) почти такая же , как P ( Y ≤ х ) , практически для любого х . Обратите внимание, что это ничего не говорит о том, насколько близки значения X n и Y друг к другу. Например, если Y ∼ N ( 0 , 10 10 ) , и, таким образом, X $n$$P(X_n\leq x)$$P(Y\leq x)$$x$$X_n$$Y$$Y\sim N(0, 10^{10})$$X_n$также распределяется примерно так же для больших , тогда кажется интуитивно вероятным, что значения X n и Y будут сильно отличаться в любом данном наблюдении. В конце концов, если нет никаких ограничений на них, кроме сходимости в распределении, они вполне могут по всем практическим причинам быть независимыми N ( 0 , 10 10 ) переменных.$n$$X_n$$Y$$N(0,10^{10})$

(В некоторых случаях может даже не иметь смысла сравнивать и Y , возможно, они даже не определены в одном и том же вероятностном пространстве. Однако это более техническое замечание.)$X_n$$Y$

Что я не понимаю, так это как случайная переменная может сходиться к одному числу, но также сходиться к распределению?

Если вы изучаете эконометрику, вы, вероятно, задаетесь вопросом об этом в контексте регрессионной модели. Это сходится к вырожденному распределению, к константе. Но что-то еще имеет невырожденное предельное распределение.

сходится по вероятности кресли необходимые допущения будут выполнены. Это означает, что, выбрав достаточно большой размер выборкиN, оценщик будет настолько близок, насколько мы хотим к истинному параметру, с вероятностью того, что он будет дальше, настолько мал, насколько мы хотим. Если вы думаете о построении гистограммы бета пдля различныхп, токонечном итоге будет только шипцентру нар.$\hat{\beta}_n$$\beta$$N$$\hat{\beta}_n$$n$$\beta$

В каком смысле β п сходится по распределению? Это также сходится к константе. Не для нормально распределенной случайной величины. Если вычислять дисперсию р п вы видите , что она уменьшается с п . Таким образом, в конечном итоге он будет стремиться к нулю при достаточно большом n , поэтому оценщик переходит к константе. Что сходится к нормально распределенной случайной переменной$\hat{\beta}_n$$\hat{\beta}_n$$n$$n$

. Если вы возьмете дисперсию, вы увидите, что она не сжимается (и не увеличивается) сn. В очень больших выборках это будет приблизительноN(0,σ2)при стандартных допущениях. Затем мы можем использовать это приближение аппроксимировать распределение & beta ; пв этой большой выборке.$\sqrt{n}(\hat{\beta}_n - \beta)$$n$$N(0, \sigma^2)$$\hat{\beta}_n$

Но вы правы , что предельное распределение бета п является также постоянным.$\hat{\beta}_n$

Позвольте мне дать очень короткий ответ, используя несколько очень простых примеров.

Сходимость в распределении

Пусть , для всех n, тогда$X_n \sim N\left(\frac{1}{n}, 1 \right)$ сходится к X ∼ N ( 0 , 1 ) по распределению. Однако случайность в реализации X n не меняется со временем. Если мы должны предсказать значение X n , ожидание нашей ошибки не меняется со временем.$X_n$$X \sim N(0, 1)$$X_n$$X_n$

Сходимость по вероятности

Теперь рассмотрим случайную величину которая принимает значение 0 с вероятностью 1 - $Y_n$$0$ и1 впротивном случае. Посколькуnуходит в бесконечность, мы все больше и больше уверены, чтоYnбудет равно$1-\frac{1}{n}$$1$$n$$Y_n$$0$ . Следовательно, мы говорим, что сходится по вероятности к 0 . Обратите внимание, что это также означает, что Y n сходится по распределению к 0 .$Y_n$$0$$Y_n$$0$