Парадокс данных iid (по крайней мере для меня)

Насколько позволяют мои совокупные (и скудные) знания по статистике, я понял, что если - это случайные переменные, то, как следует из этого термина, они независимы и одинаково распределены.$X_1, X_2,..., X_n$

Здесь меня интересует прежнее свойство примеров iid, которое гласит:

для любой коллекции различных s st . 1 ≤ i j < $i_j$$1 \leq i_j < n$

Однако известно, что совокупность независимых выборок идентичных распределений предоставляет информацию о структуре распределения и, как следствие, о в вышеприведенном случае, поэтому действительно не должно быть так, чтобы: р ( Х п | Х я 1 , Х я 2 , . . . , Х я к ) = р ( х п ) $X_n$

Я знаю, что я жертва заблуждения, но я не знаю почему. Пожалуйста, помогите мне в этом.

Я думаю, что вы путаете оценочную модель распределения со случайной величиной . Давайте перепишем предположение о независимости следующим образом: который говорит, что если вы знаете базовое распределение (и, например, можете идентифицировать его по набору параметров ), тогда распределение не изменится, учитывая, что вы наблюдали несколько выборок из него. Xn

Например, представьте, что - это случайная величина, представляющая результат броска монеты. Знание вероятности головы и хвоста для монеты (которая, между прочим, предположим, закодировано в ) достаточно, чтобы узнать распределение . В частности, результат предыдущих бросков не изменяет вероятность головы или хвоста для броска, и имеет место. n θ X n n ( 1 $X_n$$n$$\theta$$X_n$$n$$(1)$

Обратите внимание, однако, что .$P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

Если вы берете байесовский подход и рассматриваете параметры, описывающие распределение как случайную переменную / вектор, тогда наблюдения действительно не являются независимыми, но они будут условно независимы, учитывая знание следовательно, будет иметь место.θ P ( X n ∣ X n - 1 , … X 1 , θ ) = P ( X n ∣ θ $X$$\theta$$P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

В классическом статистическом подходе, является не случайной величиной. Расчеты производятся так, как будто мы знаем, что такое . В некотором смысле, вы всегда обусловливаете (даже если вы не знаете значение).θ $\theta$$\theta$$\theta$

Когда вы писали «... предоставить информацию о структуре распределения и, как следствие, о », вы неявно принимали байесовский подход, но не делали его точно. Вы пишете свойство примеров IID, которое будет записывать частый участник, но соответствующее утверждение в байесовской установке будет связано с условием .$X_n$$\theta$

Байесовский против классических статистиков

Пусть будет результатом подбрасывания односторонней нечестной монеты. Мы не знаем вероятность того, что монета приземлится головой.$x_i$

• Для классического статистика, часто встречающегося, является некоторым параметром, назовем его . Заметьте, что здесь скаляр, как число 1/3. Мы можем не знать, что это за число, но это какое-то число! Это не случайно!$P(x_i = H)$$\theta$$\theta$
• Для байесовского статистика сама по себе является случайной величиной! Это очень разные!$\theta$

Ключевая идея здесь заключается в том, что байесовский статистик распространяет инструменты вероятности на ситуации, в которых классический статистик этого не делает . Для часто встречающегося, не случайная переменная, потому что она имеет только одно возможное значение ! Множественные результаты не возможны! В воображении Байеса, тем не менее, возможны множественные значения , и Байесов готов смоделировать эту неопределенность (в своем собственном уме), используя инструменты вероятности.$\theta$$\theta$

Куда это идет?

Допустим, мы подбрасываем монету раз. Один бросок не влияет на результат другого. Классический статистик назвал бы эти независимые сальто (и они действительно есть). У нас будет: где неизвестно параметр. (Помните, мы не знаем, что это такое, но это не случайная величина! Это какое-то число.)P ( x n = H ∣ $n$

Байесовский глубоко в субъективной вероятности сказал бы, что имеет значение вероятность с ее точки зрения! , Если она видит 10 голов подряд, 11-я голова более вероятна, потому что 10 голов подряд приводят к тому, что монета склоняется в сторону голов.

Что здесь произошло? Что отличается?! Обновление убеждений о скрытой случайной переменной ! Если рассматривается как случайная переменная, сальто больше не являются независимыми. Но сальто условно независимы, учитывая значение .$\theta$$\theta$$\theta$

Обусловливание в некотором смысле связывает то, как байесовский и классический статистик моделируют проблему. Или, другими словами, специалист по частоте и Байесовский статистик согласятся, если Байесовские условия будут .θ$\theta$$\theta$

Дальнейшие заметки

Я старался изо всех сил, чтобы сделать краткое введение здесь, но то, что я сделал, в лучшем случае довольно поверхностно, и концепции в некотором смысле довольно глубоки. Если вы хотите окунуться в философию вероятности, книга Сэвиджа 1954 года « Фонд статистики» - это классика. Google для байесовских и частых, и множество вещей придет.

Еще один способ думать о розыгрышах IID - это теорема де Финетти и понятие взаимозаменяемости . В байесовской структуре взаимозаменяемость эквивалентна независимости, обусловленной некоторой скрытой случайной величиной (в данном случае однобокость монеты).