Бутстреп против проверки гипотезы о перестановке

Существует несколько популярных методов передискретизации, которые часто используются на практике, такие как начальная загрузка, тест перестановки, складной нож и т. Д. Об этих методах рассказывается множество статей и книг, например, Philip I Good (2010) Permutation, Parametric и Bootstrap Tests гипотез

Мой вопрос заключается в том, какая техника повторной выборки приобрела большую популярность и стала проще в применении? Бутстреппинг или перестановочные тесты?

Оба популярны и полезны, но в основном для разных целей. Тест на перестановку лучше всего подходит для проверки гипотез, а метод начальной загрузки - для оценки доверительных интервалов.

Тесты перестановки проверяют определенную нулевую гипотезу об обменности, то есть, что только случайная выборка / рандомизация объясняет видимую разницу. Это общий случай для таких вещей, как t-тесты и ANOVA. Он также может быть расширен до таких вещей, как временные ряды (нулевая гипотеза об отсутствии последовательной корреляции) или регрессия (нулевая гипотеза об отсутствии взаимосвязи). Тесты перестановки могут использоваться для создания доверительных интервалов, но для этого требуется гораздо больше допущений, которые могут быть или не быть разумными (поэтому предпочтительны другие методы). Тест Манна-Уитни / Уилкоксона на самом деле является частным случаем теста на перестановку, поэтому он гораздо более популярен, чем некоторые думают.

Бутстрап оценивает изменчивость процесса отбора проб и хорошо подходит для оценки доверительных интервалов. Вы можете сделать проверку гипотезы таким образом, но она имеет тенденцию быть менее мощной, чем проверка перестановки для случаев, когда выполняются предположения проверки перестановки.

Если вы используете R, то их все легко реализовать. Смотрите, например, http://www.burns-stat.com/pages/Tutor/bootstrap_resampling.html

Я бы сказал, что есть третий важный метод: перекрестная проверка. Это используется для проверки предсказательной силы моделей.

Мой вопрос заключается в том, какая техника повторной выборки приобрела большую популярность в
тестах начальной загрузки или перестановки?

1. Начальная загрузка в основном заключается в генерации больших выборочных стандартных ошибок или доверительных интервалов; тесты перестановки, как следует из названия, в основном о тестировании. (Каждый может быть адаптирован для использования в другой задаче.)

2. Как бы мы оценили популярность? Если мы посмотрим на такие области, как психология и образование, мы сможем найти множество применений ранговых тестов, таких как Уилкоксон-Манн-Уитни, подписанных ранговых тестов, ранговых корреляционных тестов и так далее. Все это тесты перестановок (с другой стороны, есть много случаев, когда тесты перестановок исходных данных можно использовать вместо этого, но обычно их нет). В некоторых других прикладных областях тесты перестановки используются редко, но разная популярность в прикладных областях иногда говорит скорее о местной культуре какой-либо области, чем о полезности.

проще реализовать?

Во многих случаях, особенно в более простых, они почти одинаково просты - по сути, это разница между выборкой с заменой и выборкой без замены.

В некоторых из более сложных случаев загрузку проще выполнить, потому что (если смотреть с точки зрения тестирования), она работает вместо альтернативы, а не с нуля (по крайней мере, наивные реализации будут - делать это так, чтобы она работала хорошо). может быть намного сложнее).

Точные тесты перестановки могут быть трудными в более сложных случаях, потому что подходящее обменное количество может быть ненаблюдаемым - часто почти заменяемое количество может быть заменено ценой точности (и того, чтобы быть действительно свободным от распределения).

По сути, при начальной загрузке с самого начала отказывается от соответствующего критерия точности (точного охвата интервалов) и вместо этого сосредотачивается на попытках получить достаточно хорошее покрытие в больших выборках (иногда с меньшим успехом, чем можно понять; не предполагайте, что ваш загрузчик дает покрытие, которое вы ожидаете).

Тесты перестановки могут работать на небольших выборках (хотя ограниченный выбор уровней значимости иногда может быть проблемой для очень малых выборок), в то время как начальная загрузка является методом большой выборки (если вы используете его с небольшими выборками, во многих случаях результаты могут не быть очень полезным).

Я редко вижу их в качестве конкурентов по одной и той же проблеме и использую их для решения (разных) реальных задач - часто будет естественный выбор, на который можно посмотреть.

Есть преимущества для обоих, но не в панацею. Если вы надеетесь сократить учебные усилия, сосредоточившись только на одном из них, вы, вероятно, будете разочарованы - оба являются важными частями набора инструментов для повторной выборки.