Нахождение точности оценки моделирования Монте-Карло

Фон

Я проектирую симуляцию Монте-Карло, которая объединяет результаты ряда моделей, и я хочу быть уверенным, что симуляция позволит мне сделать разумные заявления о вероятности смоделированного результата и точности этой вероятностной оценки.

В ходе симуляции будет найдена вероятность того, что суд присяжных, выбранный из указанного сообщества, осудит определенного подсудимого. Это шаги симуляции:

1. Используя существующие данные, создайте модель логистической вероятности ( M ), регрессируя «голосование при первом голосовании присяжных» на демографические предикторы.

2. Используйте методы Монте-Карло для моделирования 1000 версий M (то есть 1000 версий коэффициентов для параметров модели).

3. Выберите одну из 1000 версий модели ( M _i ).

4. Empanel 1000 присяжных, случайным образом выбирая 1000 наборов из 12 «присяжных» из «сообщества» ( C ) лиц с определенными демографическими характеристиками.

5. Детерминистически рассчитать вероятность первого голосования виновным для каждого присяжного заседателя, используя M _i .

6. Визуализируйте вероятный голос каждого «присяжного заседателя» в определенный голос (в зависимости от того, является ли он больше или меньше случайно выбранного значения в диапазоне 0–1).

7. Определите «окончательное голосование» каждого «жюри», используя модель (полученную из эмпирических данных) вероятности того, что присяжные будут признаны виновными, в зависимости от доли присяжных, проголосовавших за осуждение при первом голосовании.

8. Сохраните долю обвинительных приговоров на 1000 присяжных ( PG _i ).

9. Повторите шаги 3-8 для каждого из 1000 смоделированных версий M .

10. Вычислить среднее значение PG и отчет о том , что в качестве точечной оценки вероятности осуждения в  C .

11. Определите значения процентилей 2,5 и 97,5 для PG и сообщите о них как 0,95 доверительный интервал.

В настоящее время я использую 1000 присяжных и 1000 присяжных по теории, что 1000 случайных отборов из распределения вероятностей - демографические характеристики C или версии M - заполнят это распределение.

Вопросов

Позволит ли это мне точно определить точность моей оценки? Если да, то сколько присяжных мне нужно опекать для каждого вычисления PG _i, чтобы покрыть распределение вероятности C (поэтому я избегаю смещения выбора); могу ли я использовать менее 1000?

Большое спасибо за любую помощь!

Существует один общий и "вселенский" критерий благости Монте-Карло - сходимость.

Придерживайтесь одного M и проверьте, как PG ведет себя с количеством присяжных - оно должно сходиться, поэтому покажет вам количество повторений, для которых у вас будет разумное (для вашего приложения) количество значащих цифр. Повторите этот тест для нескольких других M, чтобы убедиться, что вам не повезло с выбором M, а затем перейдите ко всей симуляции.

Мне кажется, что проблема в том, является ли модель слишком сложной, чтобы ее можно было увидеть без использования моделирования Монте-Карло.

Если модель все относительно проста, то должна быть возможность просмотреть ее через обычную статистику и найти решение задаваемого вопроса, без повторного запуска модели несколько раз. Это немного упрощает, но если все, что вы делали из своей модели - это получение точек на основе нормального распределения, то вы могли бы легко получить ответы, которые вы ищете. Конечно, если модель такая простая, то вам вряд ли понадобится провести симуляцию по методу Монте-Карло, чтобы найти свои ответы.

Если проблема сложная и ее невозможно разбить на более элементарную, модель Монте-Карло является правильным типом модели для использования, но я не думаю, что существует какой-либо способ определения доверительных границ без запуска модели. В конечном счете, чтобы получить описанный тип доверительных интервалов, его модель придется запускать несколько раз, распределение вероятностей должно соответствовать выходным значениям, и оттуда могут быть определены доверительные пределы. Одна из проблем моделирования Монте-Карло состоит в том, что модели дают хорошие и регулярные ответы для распределений в среднем диапазоне, но хвосты часто дают гораздо более переменные результаты, что в конечном итоге означает больше прогонов для определения формы выходных сигналов на уровне 2,5% и 97,5% процентили.