Достаточная статистика для дилетанта

Может ли кто-нибудь объяснить достаточно статистику в самых простых терминах? Я из инженерного образования, и я прошел через многое, но не смог найти интуитивного объяснения.

Достаточная статистика суммирует всю информацию, содержащуюся в образце, чтобы вы могли сделать одинаковую оценку параметров, независимо от того, дали ли мы образец или только статистику. Это сокращение данных без потери информации.

Вот один пример. Предположим, что имеет симметричное распределение около нуля. Вместо того, чтобы дать вам образец, я передам вам образец абсолютных значений (это статистика). Вы не можете увидеть знак. Но вы знаете, что распределение является симметричным, поэтому для данного значения x , - x и x одинаково вероятны (условная вероятность равна 0,5 ). Таким образом, вы можете бросить честную монету. Если дело доходит до головы, сделайте это х отрицательным. Если хвосты, сделайте это положительным. Это дает вам образец из X ' , который имеет такое же распределение, что и исходные данные $X$$x$$-x$$x$$0.5$$x$$X'$$X$, Вы в основном смогли восстановить данные из статистики. Вот что делает это достаточным.

В байесовских терминах у вас есть некоторое наблюдаемое свойство $X$ и параметр $\Theta$ . Совместное распределение для $X,\Theta$ указано, но учитываться в качестве условного распределения $X\mid \Theta$ ; и априорного распределения & $\Theta$ . Статистика , $T$ достаточна для этой модели тогда и только тогда , когда задний распределение $\Theta\mid X$ такой же, что и & $\Theta\mid T(X)$ , для каждого предварительного распределения & $\Theta$ . На словах, ваша обновленная неопределенность о $\Theta$ после знания значения$X$ такого жекак обновленная неопределенность относительно$\Theta$ ; после зная значение$T(X)$ ,независимоаприорной информации вы имеете о $\Theta$ . Имейте в виду, что достаточность является модельно-зависимым понятием.

Скажем, у вас есть монета, и вы не знаете, справедливо это или нет. Другими словами, у него есть вероятность $p$ выпадающих голов ( $H$ ) и $1 - p$ выпадающих хвостов ( $T$ ), и вы не знаете значение $p$ .

Вы пытаетесь понять значение $p$ , бросая монету несколько раз, скажем, $n$ раз.

Допустим, $n = 5$ и в результате вы получите последовательность $(H, H, T, H, T)$ .

Теперь вы хотите, чтобы ваш друг-статистик оценил для вас значение $p$ и, возможно, сказал вам, будет ли монета справедливой или нет. Какую информацию вам нужно сообщить им, чтобы они могли делать свои расчеты и делать свои выводы?

Вы могли бы рассказать им все данные, т.е. $(H, H, T, H, T)$ . Хотя это необходимо? Не могли бы вы обобщить эти данные без потери какой-либо соответствующей информации?

Понятно, что порядок подбрасывания монет не имеет значения, потому что вы делали одно и то же для каждого броска монеты, а броски монет не влияли друг на друга. Например, если бы результат был $(H, H, T, T, H)$ , наши выводы не будут другими. Отсюда следует, что все, что вам действительно нужно сказать другу-статистику, - это подсчет количества голов.

Мы выражаем это, говоря, что количество голов является достаточной статистикой для p .

Этот пример дает представление о концепции. Читайте дальше, если вы хотите увидеть, как это связано с формальным определением.

Формально статистика является достаточной для параметра, если при заданном значении статистики распределение вероятностей результатов не включает параметр.

$p^\text{number of heads}(1 - p)^\text{n - number of heads}$$p$

$(H, H, T, H, T)$$(H, H, T, T, H)$$...$$1/10$$p$$p$$p$

$p$$\text{number of heads}$$\text{number of heads}$$p$