Несколько вопросов о статистической случайности

Из статистической случайности Википедии :

Глобальная случайность и локальная случайность различны. Большинство философских концепций случайности являются глобальными, потому что они основаны на идее, что «в долгосрочной перспективе» последовательность выглядит действительно случайной, даже если некоторые подпоследовательности не будут выглядеть случайными. Например, в «действительно» случайной последовательности чисел достаточной длины, вероятно, будут длинные последовательности, состоящие только из нулей, хотя в целом последовательность может быть случайной. Локальная случайность относится к идее, что могут быть минимальные длины последовательностей, при которых случайные распределения аппроксимируются.Длинные отрезки тех же цифр, даже те, которые генерируются «по-настоящему» случайными процессами, уменьшат «локальную случайность» выборки (она может быть только локально случайной для последовательностей из 10 000 цифр; взятие последовательностей менее чем 1000 может не показаться случайным вообще, например).

Последовательность, демонстрирующая паттерн, не является статистически случайной. Согласно принципам теории Рамсея, достаточно крупные объекты обязательно должны содержать данную подструктуру («полный беспорядок невозможен»).

Я не совсем понимаю значения двух предложений, выделенных жирным шрифтом.

1. Означает ли первое предложение, что что-то делает последовательность локальной случайной на большей длине, а не локальной случайной на меньшей длине?

   Как работает пример в скобках?

2. Означает ли второе предложение, что последовательность, демонстрирующая шаблон, не может быть статистически случайной? Почему?

Благодарность

Концепция может быть аккуратно проиллюстрирована некоторым исполняемым кодом. Мы начинаем (in R) с использования хорошего генератора псевдослучайных чисел для создания последовательности из 10 000 нулей и единиц:

set.seed(17)
x <- floor(runif(10000, min=0, max=2))

Это проходит некоторые основные тесты случайных чисел. Например, Т-тест для сравнения среднего значения в имеет р-значение 40.09 %, что позволяет принять гипотезу о том , что нули и единицы равновероятно.$1/2$$40.09$

Из этих чисел мы продолжаем извлекать подпоследовательность из последовательных значений, начиная с 5081-го значения:$1000$

x0 <- x[1:1000 + 5080]

Если они выглядят случайными, они также должны пройти те же тесты случайных чисел. Например, давайте проверим, является ли их среднее значение 1/2:

> t.test(x0-1/2)

    One Sample t-test

data:  x0 - 1/2 
t = 2.6005, df = 999, p-value = 0.009445
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
 0.01006167 0.07193833 
sample estimates:
mean of x 
    0.041 

Низкое значение р (менее 1%) наводит на мысль , среднее значительно больше , чем . Действительно, накопленная сумма этой подпоследовательности имеет сильную тенденцию к росту:$1/2$

> plot(cumsum(x0-1/2))

Это не случайное поведение!

Сравнение исходной последовательности (отложенной в виде кумулятивной суммы) с этой подпоследовательностью показывает, что происходит:

$9000$

Как показали эти простые анализы, ни один тест не может «доказать», что последовательность выглядит случайной. Все, что мы можем сделать, это проверить, достаточно ли отклоняются последовательности от поведения, ожидаемого от случайных последовательностей, чтобы предоставить доказательства того, что они не случайны. Вот как работают батареи тестов случайных чисел : они ищут шаблоны, которые вряд ли возникнут в последовательностях случайных чисел. Время от времени они заставляют нас делать вывод, что действительно случайная последовательность чисел не выглядит случайной: мы отвергаем ее, пытаясь что-то еще.

В долгосрочной перспективе, тем не менее - так же, как мы все мертвы - любой генератор действительно случайных чисел будет генерировать каждую возможную последовательность из 1000 цифр, и это будет происходить бесконечно много раз. Что спасает нас от логического затруднения, так это то, что нам пришлось бы ждать очень долго, чтобы произошла такая очевидная аберрация.

В этом отрывке используются термины «локальная случайность» и «глобальная случайность», чтобы различать, что может происходить с конечным числом выборок случайной величины, и распределение вероятности или ожидание случайной величины.

$x_i$$\{0,1\}$$\theta$$\theta$$\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n x_i = \theta$

$[0,1]$$[a,b]$$0 \leq a < b \leq 1$$\theta$

Здесь нет ничего нового.

$n$

Таким образом, я бы не сжег слишком много клеток мозга, думая об этом отрывке. Это не математически так точно и на самом деле вводит в заблуждение о природе случайности.

Редактировать на основе комментария: @kjetilbhalvorsen +1 к вашему комментарию для исторических знаний. Тем не менее, я все еще думаю, что ценность этих терминов ограничена и вводит в заблуждение. Таблицы, которые вы описываете, по-видимому, вводят в заблуждение, что маленькие выборки, которые имеют, например, выборку, означают далекие от фактического ожидаемого значения или, возможно, невероятную, но, безусловно, возможную длинную последовательность повторяющихся нулей (в моем примере Бернулли), как-то демонстрируют меньше случайности (говоря, что они не демонстрируют эту фальшивую «локальную случайность»). Я не могу придумать ничего более вводящего в заблуждение для начинающего статистика!

Я думаю, что авторы поста в Википедии неправильно истолковывают случайность. Да, могут быть отрезки, которые кажутся не случайными, но если процесс, который создал последовательность, действительно случайный, то должен быть вывод. Если определенные последовательности оказываются неслучайными, это ошибочное восприятие читателя (то есть люди предназначены для поиска закономерностей). Наша способность видеть Большую Медведицу, Ориона и т. Д. В ночном небе не является доказательством того, что картины звезд неслучайны. Я согласен, что случайность часто оказывается неслучайной. Если процесс генерирует действительно неслучайные шаблоны для коротких последовательностей, это не случайный процесс.

Я не думаю, что процесс меняется при разных размерах выборки. Вы увеличиваете размер выборки, вы увеличиваете вероятность того, что мы увидим случайную последовательность, которая нам кажется неслучайной. Если есть вероятность 10%, что мы увидим схему в 20 случайных наблюдениях, увеличение общего количества наблюдений до 10000 увеличит вероятность того, что где-нибудь мы увидим неслучайность.