Ошибка аппроксимации доверительного интервала для среднего при

15

Пусть - семейство случайных величин iid, принимающих значения в , имеющих среднее и дисперсию . Простой доверительный интервал для среднего значения, использующий всякий раз, когда он известен, задается как $\{X_i\}_{i=1}^n$ $[0,1]$ $\mu$ $\sigma^2$ $\sigma$

п (| \bar{Икс} - μ | > ε) \leq \frac{σ^{2}}{N ε^{2}} \leq \frac{1}{N ε^{2}} (1),

$P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1).$

Кроме того, поскольку асимптотически распределяется как стандартная нормальная случайная величина, нормальное распределение иногда используется для "построения" приблизительного доверительного интервала. $\frac{\bar X- \mu}{\sigma/\sqrt{n}}$

В экзаменах по статистике ответов с несколькими вариантами ответов мне приходилось использовать это приближение вместо всякий раз, когда . Я всегда чувствовал себя очень неловко с этим (больше, чем вы можете себе представить), так как ошибка аппроксимации не определяется количественно. $(1)$ $n \geq 30$

Зачем использовать нормальное приближение, а не ? $(1)$
Я больше не хочу слепо применять правило . Есть ли хорошие рекомендации, которые могут поддержать меня в отказе сделать это и предоставить подходящие альтернативы? ( является примером того, что я считаю подходящей альтернативой.) $n \geq 30$ $(1)$

Здесь, пока и неизвестны, они легко ограничены. $\sigma$ $E[ |X|^3]$

Обратите внимание, что мой вопрос является справочным запросом, в частности, о доверительных интервалах, и поэтому отличается от вопросов, которые были предложены как частичные дубликаты здесь и здесь . Там нет ответа.

— Оливье
источник

2

Возможно, вам придется улучшить приближение, найденное в классических ссылках, и использовать тот факт, что

находятся в

что, как вы заметили, дает информацию о моментах. Я полагаю, что магическим инструментом будет теорема Берри-Эссеена!

X_{i}

$X_i$

(0, 1)

$(0, 1)$

— Ив

1

с этими границами дисперсия не может быть больше 0,25, намного лучше, чем 1, не так ли?

— Карло

3

Зачем использовать нормальное приближение?

Это так же просто, как сказать, что всегда лучше использовать больше информации, чем меньше. В уравнении (1) используется теорема Чебышева . Обратите внимание, что он не использует никакой информации о форме вашего дистрибутива, т.е. он работает для любого дистрибутива с заданной дисперсией. Следовательно, если вы используете некоторую информацию о форме вашего дистрибутива, вы должны получить лучшее приближение. Если вы знали, что ваше распределение является гауссовским, то, используя эти знания, вы получите более точную оценку.

Поскольку вы уже применяете центральную предельную теорему, почему бы не использовать гауссово приближение границ? Они будут лучше, на самом деле, более узкими (или более резкими), потому что эти оценки основаны на знании формы, которая является дополнительной информацией.

Практическое правило 30 - это миф, который выигрывает от предвзятости подтверждения . Он просто копируется из одной книги в другую. Однажды я нашел ссылку на это правило в газете 1950-х годов. Насколько я помню, это не было каким-либо твердым доказательством. Это было какое-то эмпирическое исследование. По сути, единственная причина, по которой он используется - это то, что он работает. Вы не видите, что это часто нарушается.

ОБНОВЛЕНИЕ Посмотрите статью Захария Р. Смита и Крейга Уэллса « Центральная предельная теорема и размер выборки ». Они представляют эмпирическое исследование сходимости к CLT для различных видов распределений. Конечно, магическое число 30 не работает во многих случаях.

— Аксакал
источник

+1 Для разумного объяснения. Но разве нет риска использования информации, которая не совсем верна? CLT ничего не говорит о распределении

для фиксированного

.

\bar{X}

$\bar X$

n

$n$

— Оливье

Да, CLT ничего не говорит о распределении конечной выборки, но не делает асимптотических уравнений. Однако, несомненно, они имеют полезную информацию, поэтому ограничивающие отношения используются повсеместно. Проблема с Чебышевым в том, что он настолько широк, что редко используется за пределами класса. Например, для одного стандартного отклонения вероятность, которую он дает, составляет

- вряд ли практическая информация

< 1 / k^{2} = 1

$<1/k^2=1$

— Аксакал,

Тем не менее, для

принимающего значения 0 или 1 с равной вероятностью, ваше применение Чебышева является точным. ;) Проблема в том, что Чебышев, примененный к выборочному среднему, никогда не будет оставаться резким при росте

.

X

$X$

n

$n$

— Оливье

Я не знаю о статье Смита и Уэллса, я пытался воспроизвести ее в R и не смог восстановить их выводы ...

— Алекс Нельсон

9

Проблема с использованием неравенства Чебышева для получения интервала для истинного значения заключается в том, что он дает только нижнюю границу для вероятности, которая к тому же иногда тривиальна, или, чтобы не быть тривиальной, она может дать очень широкую доверительный интервал. У нас есть

P (| \bar{X} - μ | > ε) = 1 - P (\bar{X} - ε \leq μ \leq \bar{X} + ε)

$P( | \bar X - \mu| > \varepsilon) = 1 - P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon)$

⟹ P (\bar{X} - ε \leq μ \leq \bar{X} + ε) \geq 1 - \frac{1}{n ε^{2}}

$\implies P(\bar X-\varepsilon \leq \mu \leq \bar X+\varepsilon) \geq 1- \frac{1}{n \varepsilon^2}$

Мы видим, что, в зависимости также от размера выборки, если мы уменьшим «слишком сильно», мы получим тривиальный ответ «вероятность больше нуля». $\varepsilon$

Кроме того, что мы получаем из этого подхода, так это вывод вида "" вероятность того, что попадет в , равна или больше ... " $\mu$ $[\bar X \pm \varepsilon]$

Но давайте предположим , что мы хорошо с этим, и обозначим минимальная вероятность , с которой мы знакомы. Итак, мы хотим $p_{min}$

1 - \frac{1}{n ε^{2}} = p_{m i n} ⟹ ε = \sqrt{\frac{1}{(1 - p_{m i n}) n}}

$1- \frac{1}{n \varepsilon^2} = p_{min} \implies \varepsilon = \sqrt {\frac {1}{(1-p_{min})n}}$

При небольших размерах выборки и высокой требуемой минимальной вероятности это может дать неудовлетворительно широкий доверительный интервал. Например, для и мы получим , что, например, для переменной, обработанной OP, ограниченной в представляется слишком большим, чтобы быть полезным. $p_{min} =0.9$ $n=100$ $\varepsilon \approx .316$ $[0,1]$

Но этот подход действителен и не распространяется, поэтому могут быть случаи, когда он может быть полезен.

Можно также проверить неравенство Высочанского – Петунина, упомянутое в другом ответе, который справедлив для непрерывных унимодальных распределений и уточняет неравенство Чебышева.

— Алекос Пападопулос
источник

Я не согласен, что проблема с Чебычевым в том, что он дает только нижнюю оценку вероятности. В условиях без распространения нижняя граница - лучшее, на что мы можем надеяться. Важные вопросы: Чебычев острый? Является ли длина Чебычева С.И. систематически завышенной для фиксированного уровня

? Я ответил на это в своем посте, с определенной точки зрения. Тем не менее, я все еще пытаюсь понять, будет ли Чебычев для выборочного среднего значения всегда не быть точным, в более сильном смысле.

α

$\alpha$

— Оливье

Длина КИ не оценивается, поскольку не существует какой-то одной неизвестной длины, поэтому я не уверен, что вы имеете в виду, используя здесь слово «переоценка». Разные методы предоставляют разные КИ, которые мы, конечно, можем попытаться оценить и оценить.

— Алекос Пападопулос

Переоценка была плохим выбором слов, спасибо за указание на это. Под «систематически завышенной длиной» я подразумевал, что метод получения КИ всегда дает нечто большее, чем необходимо.

— Оливье

1

@Olivier Вообще говоря, неравенство Чебышева, как известно, является слабым неравенством и поэтому больше используется в качестве инструмента в теоретических выводах и доказательствах, чем в прикладных работах.

— Алекос Пападопулос

2

@ Оливье "Вообще говоря" охватывает вашу квалификацию, я бы сказал.

— Алекос Пападопулос

7

Короткий ответ: все может пойти очень плохо, но только если один или оба хвоста распределения выборки действительно толстые .

Этот код R генерирует миллион наборов из 30 гамма-распределенных переменных и принимает их среднее значение; его можно использовать, чтобы получить представление о том, как выглядит выборочное распределение среднего значения. Если нормальное приближение работает как задумано, результаты должны быть приблизительно нормальными со средним значением 1 и дисперсией 1/(30 * shape).

f = function(shape){replicate(1E6, mean(rgamma(30, shape, shape)))}

При shapeзначении 1,0 гамма-распределение становится экспоненциальным , что довольно ненормально. Тем не менее, негауссовские части в основном усредняются, и поэтому гауссовское приближение не так уж и плохо:

Здесь явно есть некоторая предвзятость, и было бы неплохо избежать этого, когда это возможно. Но, честно говоря, такой уровень предвзятости, вероятно, не будет самой большой проблемой, стоящей перед типичным исследованием.

Тем не менее, все может стать намного хуже. При f(0.01)этом гистограмма выглядит так:

Логическое преобразование 30 точек выборки данных перед усреднением очень помогает, хотя:

В общем случае для распределений с длинными хвостами (на одной или обеих сторонах распределения) потребуется наибольшее количество выборок, прежде чем приближение Гаусса станет надежным. Есть даже патологические случаи, когда буквально никогда не будет достаточно данных для работы гауссовского приближения, но у вас, вероятно, будут более серьезные проблемы в этом случае (потому что распределение выборки не имеет четко определенного среднего значения или дисперсии, чтобы начать с).

— Дэвид Дж. Харрис
источник

Я считаю эксперимент очень уместным и интересным. Я не буду принимать это как ответ, однако, поскольку это не решает суть проблемы.

— Оливье

1

в чем суть?

— Дэвид Дж. Харрис

Ваш ответ не обеспечивает строгой основы для правильной статистической практики. Это только приводит примеры. Также обратите внимание, что случайные величины, которые я рассматриваю, ограничены, что сильно меняет то, что является наихудшим возможным случаем.

— Оливье

@Glen_b: этот ответ не имеет отношения к вашей исправленной версии вопроса. Должен ли я просто оставить это здесь, или вы бы порекомендовали что-то еще?

— Дэвид Дж. Харрис,

3

Проблема с доверительным интервалом Чебышева

Как упоминалось Карло, мы имеем . Это следует из. Поэтому доверительный интервал длядается $\sigma^2 \le \frac{1}{4}$ $\text{Var}(X) \le \mu(1-\mu)$ $\mu$ Проблема в том, что неравенство в определенном смысле довольно свободно, когдастановится большим. Улучшение дается границей Хеффдинга и показано ниже. Тем не менее, мы также можем продемонстрировать, насколько плохо это может стать, используятеорему Берри-Эссеена, на которую указал Ив. Пустьесть дисперсия

P (| \bar{X} - μ | \geq ε) \leq \frac{1}{4 n ε^{2}} .

$P(|\bar{X}-\mu| \geq \varepsilon) \le \frac{1}{4n\varepsilon^2}.$

n

$n$

X_{i}

$X_i$

, худший из возможных случаев. Из теоремы вытекает, что

\frac{1}{4}

$\tfrac{1}{4}$

где

- функция выживания стандартного нормального распределения. В частности, при

мы получаем

(по Сципи), так что по существу

P (| \bar{X} - μ | \geq \frac{ε}{2 \sqrt{n}}) \leq 2 SF (ε) + \frac{8}{\sqrt{n}},

$P(|\bar X - \mu| \geq \tfrac{\varepsilon}{2\sqrt{n}}) \le 2\, \text{SF}(\varepsilon) + \tfrac{8}{\sqrt{n}},$

SF

$\text{SF}$

ε = 16

$\varepsilon = 16$

SF (16) \approx e^{- 58}

$\text{SF}(16) \approx e^{-58}$

тогда как из неравенства Чебышева следует

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{8}{\sqrt{n}} + 0, (*)

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{8}{\sqrt{n}} + 0, \qquad (*)$

Обратите внимание, что я не пытался оптимизировать границы, заданные в

, результат здесь представляет только концептуальный интерес.

P (| \bar{X} - μ | \geq \frac{8}{\sqrt{n}}) \leq \frac{1}{256} .

$P(|\bar X - \mu| \geq \tfrac{8}{\sqrt{n}}) \le \tfrac{1}{256}.$

(*)

$(*)$

Сравнивая длины доверительных интервалов

Рассмотрим длины доверительного интервала и полученные с использованием нормального приближения ( $(1-\alpha)$ $\ell_Z(\alpha, n)$ $\ell_C(\alpha, n)$ $\sigma = \tfrac{1}{2}$ $\ell_C(\alpha, n)$ $\ell_Z(\alpha, n)$ $n$ $n$

ℓ_{С} (α, N) знак равно κ (α) ℓ_{Z} (α, N), κ (α) знак равно {(ISF (\frac{α}{2}) \sqrt{α})}^{- 1},

$\ell_C(\alpha, n) = \kappa(\alpha) \ell_Z(\alpha, n), \quad \kappa(\alpha) = \left(\text{ISF}\left(\tfrac{\alpha}{2}\right) \sqrt{\alpha}\right)^{-1},$

ISF

$\text{ISF}$

$\hskip 1in$

$95\%$ $2.3$

Используя границу Хеффдинга

п (| \bar{Икс} - μ | \geq ε) \leq 2 е^{- 2 N ε^{2}},

$P(|\bar X - \mu| \geq \varepsilon) \leq 2e^{-2n \varepsilon^2}.$

(1 - α)

$(1-\alpha)$

μ

$\mu$

(\bar{X} - ε, \bar{X} + ε), ε = \sqrt{\frac{- \ln \frac{α}{2}}{2 n}},

$(\bar X - \varepsilon, \bar X + \varepsilon), \quad \varepsilon = \sqrt{\frac{-\ln \tfrac{\alpha}{2}}{2n}},$

ℓ_{H} (α, n) = 2 ε

$\ell_H (\alpha, n) = 2\varepsilon$

ℓ_{C}

$\ell_C$

σ = 1 / 2

$\sigma = 1/2$

ℓ_{Z}

$\ell_Z$

ℓ_{H}

$\ell_H$

α = 0.05

$\alpha = 0.05$

$\hskip 0.5in$

— оливье
источник

P (\bar{X} - μ \geq ε) \leq e^{- 2 n ε^{2}}

$P(\bar{X}-\mu \ge \varepsilon) \le e^{-2 n \varepsilon^2}$

P (| \bar{X} - μ | \geq ε) \leq 2 e^{- 2 n ε^{2}};

$P(|\bar{X}-\mu| \ge \varepsilon) \le 2 e^{-2 n \varepsilon^2} ;$

α

$\alpha$

1 - α,

$1-\alpha,$

Последнее и более важное: я нашел ваш результат невероятным, поэтому я попытался воспроизвести его в R и получил совершенно противоположный результат: нормальное приближение дает мне меньшие доверительные интервалы! это код, который я использовал:

curve(sqrt(-log(.025)/2/x), to= 100, col= 'red', xlab= 'n', ylab= 'half interval') #Hoeffding ; curve(qnorm(.975, 0, .5/sqrt(x)), to= 100, add= T, col= 'darkgreen') #normal approximation

— Карло

0

давайте начнем с числа 30: это, как кто-нибудь скажет, эмпирическое правило. но как мы можем найти число, которое лучше соответствует нашим данным? На самом деле это в основном вопрос асимметрии: даже самые странные распределения быстро сходятся к нормальным, если они симметричные и непрерывные, искаженные данные будут намного медленнее. Я помню, как узнал, что биномиальное распределение может быть правильно приближено к нормальному, когда его дисперсия больше 9; в этом примере следует учитывать, что дискретное распределение также имеет проблему, заключающуюся в том, что им необходимы большие числа для симуляции непрерывности, но подумайте об этом: симметричное биномиальное распределение достигнет этой дисперсии с n = 36, если вместо p = 0,1, n должно идти до 100 (переменная трансформация, однако, очень поможет)!

Если вы хотите использовать вместо этого только дисперсию, отбрасывая гауссову аппроксимацию, рассмотрите неравенство Высочанского – Петунина по Чебичеву, для этого необходимо допустить унимодальное распределение среднего значения, но это очень безопасное с любым размером выборки, я бы сказал, большим чем 2.

— карло
источник

Не могли бы вы добавить ссылку на «неравенство Высочанского – Петунина»? Никогда об этом не слышал!

— kjetil b halvorsen

Википедия Docet

— Карло

Можете ли вы выразить скорость сближения с точки зрения асимметрии? Почему размер выборки, вы бы сказали 2, достаточен для унимодальности? Как неравенство Высочанского – Петунина улучшится по сравнению с Чебычевым, если вам нужно удвоить или утроить размер выборки для его применения?

— Оливье

Я сделал быстрый поиск в Google и обнаружил, что биномиальное распределение на самом деле часто используется для объяснения потребности в искаженных данных разного размера выборки, но я не нашел, и я полагаю, что нет общепринятой "скорости сходимости с точки зрения асимметрии" ».

— Карло

Неравенство Высочанского – Петунина более эффективно, чем неравенство Чебычева, поэтому ему вообще не нужна большая выборка, но оно имеет некоторые ограничения использования: во-первых, вы должны иметь непрерывное распределение, чем, оно должно быть унимодальным (без локальных мод разрешается). Может показаться странным отказаться от предположения о нормальности, чтобы принять другое, но если ваши данные не являются дискретными, среднее значение выборки должно исключать локальные моды даже с очень маленькими выборками. Факт заключается в том, что среднее значение имеет большую часть распределения колокольчиков, и, даже если оно может быть перекошено или иметь толстые хвосты, оно быстро будет иметь только один режим.

— Карло