В каких настройках доверительные интервалы не улучшатся с увеличением размера выборки?

В сообщении в блоге я обнаружил, что

«Я полагаю, что WG Cochrane первым указал (примерно 1970-е годы), что при доверительных интервалах в условиях наблюдений малые размеры выборки приводят к лучшему охвату при достаточно больших выборках, обеспечивающих практически нулевое покрытие!

Теперь я предполагаю, что ширина CI должна приближаться к 0 с увеличением размера выборки, но идея о том, что покрытие одновременно ухудшится, мне не убедительна. Это утверждение верно и при каких обстоятельствах? Или я не правильно понял?

Я запустил симуляцию, используя случайные нормально распределенные данные с размерами выборки от 10000 до 1000000 (t-критерий с одной выборкой, 95% CI), 1000 прогонов при каждом размере выборки, и покрытие не увеличилось для более высоких размеров выборки (вместо этого я нашел ожидаемую почти постоянную ~ 5% ошибок).

Обратите внимание на квалификацию "в наблюдательной обстановке".

При проверке контекста, из которого вы взяли цитату (подзаголовок комментариев, в котором она находится), выясняется, что цель - «в реальном мире», а не в симуляции, и, вероятно, не включает контролируемый эксперимент. и в этом случае вероятное намерение является следствием того факта, что предположения, на основании которых получены интервалы, на самом деле не совсем верны. Есть множество вещей, которые могут повлиять на смещение - которые имеют небольшой эффект по сравнению с изменчивостью в небольших выборках - но которые, как правило, не уменьшаются в размере при увеличении размера выборки, в то время как стандартные ошибки влияют

Поскольку наши расчеты не учитывают смещение, так как интервалы сокращаются (как ), любое неизменное смещение, даже если оно довольно маленькое, вырисовывается больше, в результате чего наши интервалы с меньшей и меньшей вероятностью включают истинное значение.$1/\sqrt n$

Вот иллюстрация - которая, возможно, преувеличивает предвзятость - чтобы показать, что я имею в виду, что вероятность охвата КИ уменьшается с увеличением размера выборки:

Конечно, в любой конкретной выборке интервал будет случайным - он будет шире или уже и смещен влево или вправо по отношению к диаграмме, так что при любом размере выборки он имеет некоторую вероятность покрытия от 0 до 1, но при любом значении смещения уменьшит ноль при увеличении . Вот пример с 100 доверительными интервалами для каждого размера выборки с использованием смоделированных данных (построенных на графике с прозрачностью, поэтому цвет становится более сплошным, когда его перекрывают больше интервалов):$n$

Сладкая ирония Перед этим абзацем тот же человек говорит: «Неудивительно, что существует такая распространенная путаница». «Доверительные интервалы в наблюдательной обстановке»: что это вообще значит?

Мне кажется, что это опять-таки путаница между оценкой и проверкой гипотез .

Теперь я знаю, что ширина CI должна приближаться к 1 с увеличением размера выборки.

Нет, это зависит от контекста. В принципе ширина должна сходиться к . Охват должен быть близок к номинальному значению для большого числа симуляций Монте-Карло. Охват не зависит от размера выборки, за исключением случаев, когда некоторые из предположений, при которых был создан КИ, являются ошибочными (что, возможно, и подразумевает ОП. «Все модели ошибочны», да.).$0$

Ссылка - это комментарий в посте личного блога . Я бы не слишком беспокоился о достоверности такого рода ссылок. Блог, принадлежащий Ларри Вассерману, имеет тенденцию быть очень хорошо написанным с другой стороны. Это напомнило мне о комиксе xkcd:

http://xkcd.com/386/