Симуляционное исследование: как выбрать количество итераций?

Я хотел бы сгенерировать данные с помощью «Модели 1» и сопоставить их с «Моделью 2». Основная идея состоит в том, чтобы исследовать свойства устойчивости модели 2. Меня особенно интересует коэффициент покрытия 95% доверительного интервала (на основе нормального приближения).

Как установить количество итераций?
Правда ли, что репликация больше, чем необходимо, может привести к ложным искажениям? Если так, как это?

simulation monte-carlo

— user7064
источник

Что вы подразумеваете под «уровнем охвата 95% доверительного интервала»? Если доверительный интервал является точным или хорошим приблизительным интервалом, он покрывает истинное значение параметра приблизительно в 95% случаев.

— Майкл Р. Черник

Если вы генерируете доверительный интервал на основе модели 2 для данных, сгенерированных в рамках модели 1, это указывает на то, что эти две модели связаны и содержат некоторые одинаковые параметры. Можете ли вы объяснить немного больше? Кроме того, когда вы говорите «ложный» в своем втором пункте, вы имеете в виду неправильно или просто неважно? Большее количество симуляций не должно приводить к смещению, но оно может выявить смещение, которое имеет мало практического значения, которое вы не увидите при меньшем числе, подобно тому, как вы можете обнаружить (т.е. получить статистическую значимость) очень крошечный эффект, когда вы имеют очень большой размер выборки.

— Макрос

@ Михаил Черник: Недостаточное покрытие, например, может быть достигнуто, если стандартная ошибка слишком мала. Я отредактировал свой вопрос, чтобы указать, чем я использую доверительные интервалы, основанные на нормальном приближении.

— user7064

@Macro: «Модель 1» генерирует нормальные данные с гетероскедастическими терминами ошибок, а «Модель 2» является стандартной линейной моделью.

— user7064

Ответы:

На основании вашего последующего комментария кажется, что вы пытаетесь оценить вероятность покрытия доверительного интервала, когда принимаете постоянную дисперсию ошибки, когда истинная дисперсия ошибки не постоянна.

Я думаю об этом так, что для каждого прогона доверительный интервал либо покрывает истинное значение, либо нет. Определите переменную индикатора:

Y_{i} = {\begin{cases} 1 & i f t h e i n t e r v a l c o v e r s \\ 0 & i f i t d o e s n o t \end{cases}

$Y_i = \begin{cases} 1 & {\rm if \ the \ interval \ covers} \\ 0 & {\rm if \ it \ does \ not } \end{cases}$

Тогда вероятность покрытия, которая вас интересует, равна которую вы можете оценить по пропорции выборки, которую, я думаю, вы предлагаете. $E(Y_i) = p$

Как установить количество итераций?

Мы знаем, что дисперсия испытания Бернулли равна , и ваши симуляции будут генерировать испытания IID Бернулли, поэтому дисперсия вашей оценки, основанной на моделировании равна , где - это количество симуляций. Вы можете выбрать чтобы уменьшить эту дисперсию столько, сколько хотите. Это факт, что $p(1-p)$ $p$ $p(1-p)/n$ $n$ $n$

p (1 - p) / n \leq 1 / 4 n

$p(1-p)/n \leq 1/4n$

Итак, если вы хотите, чтобы дисперсия была меньше предварительно определенного порога, , то вы можете убедиться в этом, выбрав . $\delta$ $n \geq 1/4\delta$

В более общем случае, если вы пытаетесь исследовать свойства распределения выборки оценки с помощью симуляции (например, среднее значение и дисперсию), вы можете выбрать количество симуляций на основе того, какую точность вы хотите достичь в аналогичной модели. мода на то, что описано здесь.

Также обратите внимание, что, когда среднее (или какой-то другой момент) переменной является объектом интереса, как здесь, вы можете построить доверительный интервал для нее на основе моделирования с использованием нормального приближения (то есть центральной предельной теоремы) , как обсуждается в приятном ответе MansT. Это нормальное приближение лучше с ростом числа выборок, поэтому, если вы планируете построить доверительный интервал, обращаясь к центральной предельной теореме, вам нужно, чтобы было достаточно большим, чтобы это можно было применить. Для двоичного случая, как у вас здесь, это приближение кажется хорошим, даже когда и довольно умеренные - скажем, . $n$ $np$ $n(1-p)$ $20$

Правда ли, что репликация больше, чем необходимо, может привести к ложным искажениям? Если так, как это?

Как я уже упоминал в комментарии, это зависит от того, что вы подразумеваете под ложным. Большее число симуляций не приведет к смещению в статистическом смысле, но оно может выявить несущественное смещение, которое заметно только при астрономически большом размере выборки. Например, предположим, что истинная вероятность покрытия ошибочно определенного доверительного интервала составила . Тогда, на самом деле, это не проблема в практическом смысле, но вы можете заметить эту разницу, только если провели массу симуляций. $94.9999\%$

— макрос
источник

Я часто использую ширину доверительных интервалов как быстрый и грязный способ определения необходимого количества итераций.

Пусть будет истинной степенью охвата доверительного интервала 95%, когда данные из «Модели 1» соответствуют «Модели 2». Если - это количество раз, которое доверительный интервал покрывает истинное значение параметра за итераций, то . $p$ $X$ $n$ $X\sim {\rm Bin}(n,p)$

Оценщик имеет среднее значение и стандартное отклонение . Для большого , является приблизительно нормальным и дает приблизительно 95% доверительный интервал для . Поскольку вы знаете (предположил бы), что , отсюда следует, что ширина этого интервала составляет приблизительно . $\hat{p}=X/n$ $p$ $\sqrt{p(1-p)/n}$ $n$ $\hat{p}$ $\hat{p}\pm 1.96\sqrt{\hat{p}(1-\hat{p})/n}$ $p$ $p\approx 0.95$ $2\cdot 1.96\sqrt{0.95\cdot 0.05/n}$

Если вы считаете, что доверительный интервал с шириной (скажем) приемлем, вы найдете приблизительное число итераций необходимое для этого, решив уравнение $0.1$ $n$

0.1 = 2 \cdot 1.96 \sqrt{0.95 \cdot 0.05 / n} .

$0.1=2\cdot 1.96\sqrt{0.95\cdot 0.05/n}.$

Таким образом, вы можете найти разумный , выбрав точность, которую вы ищете. $n$

— MånsT
источник

(+1) похоже, что мы представили очень похожий ответ примерно в одно и то же время, но я думаю, что другой используемый язык может быть полезен для некоторых.

— Макрос

Да, действительно, я до сих пор не знаю, какой ответ принять! В любом случае +1 для обоих!

— user7064

@Macro: +1 тебе тоже. Разница и ширина интервала здесь, конечно, более или менее эквивалентны. Великие умы думают одинаково - и наши тоже. ;)

— MånsT

@ MånsT Правильно ли я предположить, что если моя ширина CI равна 0,01, то для степени покрытия 90% требуемое число итераций будет равно для 95% ДИ? Скажем, этот CI для оценки пропорции. Как размер выборки моей биномиальной модели (а затем выбрать квантили, чтобы найти CI) влияет на вероятность охвата?

n = (2 \cdot 1.65 \sqrt{0.95 \cdot 0.05} / 0.01)^{2}

$n=(2\cdot 1.65 \sqrt{0.95\cdot 0.05}/0.01)^2$

— Гор

Если вы выполняете симуляцию, минимальное количество требуемых прогонов зависит от вашей цели (что вы пытаетесь оценить и с какой точностью?). Если вы пытаетесь оценить средний ответ, то стандартным отклонением среднего значения для выборки является . Так что, если - необходимая полуширина для доверительного интервала для желаемого среднего значения, то или . $\dfrac{\text{Population Standard Deviation}}{\sqrt{n}}$ $d$ $95\%$ $d= 1.96 \times \dfrac{\text{Pop.Std.Dev}}{\sqrt{n}}$ $n=\dfrac{ (1.96 \times\text{Pop.Std.Dev})^2}{d^2}$

Выполнение большего количества симуляций (при условии, что все выборки получены случайным процессом) не повредит оценке с точки зрения точности или смещения.

Охват приблизительного доверительного интервала будет отличаться от требуемого охвата, и погрешность в покрытии должна уменьшаться с увеличением . Как упоминалось в Macro и MansT, вы можете ограничить оценку покрытия Монте-Карло на основе дисперсии биномиальной пропорции, . $95\%$ $n$ $\dfrac{p(1-p)}{n}$

— Майкл Р. Черник
источник

Привет, Майкл. Я думаю, что этот ответ не имеет смысла. ОП пытается исследовать, как изменяются свойства покрытия доверительного интервала, когда вы принимаете постоянную дисперсию, но истинная дисперсия не постоянна.

— Макрос

@ Макро: Вы правы. Я намеренно поставил вопрос в более широком контексте, чтобы избежать ответов, которые являются специфическими для проблемы предположения о постоянной дисперсии.

— user7064

@Macro Это не было частью вопроса, на который я ответил. Видимо, это было выяснено позже. Представляется также, что интерес представляет точность доверительного интервала, в котором используется нормальное приближение. Это, кажется, не рассматривается ни в одном из ответов.

— Майкл Р. Черник

@ Майкл, да, я знаю - моя точка зрения заключалась в том, что вы (и я) просили разъяснений, но вы не ждали разъяснений, прежде чем опубликовать свой ответ. В отношении вашего второго комментария вы можете исследовать свойства покрытия любого интервала таким образом, независимо от того, был ли он основан на нормальном приближении или нет. Если вы считаете, что нужно добавить что-то особенное, чего не хватает в существующих ответах, отредактируйте ваш ответ, чтобы мы все могли его изучить.

— Макрос

@Macro Конечно, я согласен с тобой. Я отредактировал свой ответ в пользу ОП. Я подозреваю, что в контенте нет ничего, что вы бы не знали.

— Майкл Р. Черник