Есть две основные модели для тестирования. Первый, основанный на предположении о случайной выборке из популяции, обычно называют «моделью популяции».
Например, для t-критерия с двумя независимыми выборками мы предполагаем, что две группы, которые мы хотим сравнить, являются случайными выборками из соответствующих групп населения. Предполагая, что распределения баллов в двух группах обычно распределены по совокупности, мы можем затем вывести аналитически выборочное распределение тестовой статистики (т. Е. Для t-статистики). Идея состоит в том, что если бы мы повторяли этот процесс (случайным образом выбирая две выборки из соответствующих групп населения) бесконечное число раз (конечно, мы на самом деле этого не делаем), мы бы получили это распределение выборки для тестовой статистики.
Альтернативной моделью для тестирования является «модель рандомизации». Здесь нам не нужно обращаться к случайной выборке. Вместо этого мы получаем распределение рандомизации через перестановки наших выборок.
Например, для t-теста у вас есть две выборки (необязательно полученные методом случайной выборки). Теперь, если действительно нет никакой разницы между этими двумя группами, то, действительно ли конкретный человек «принадлежит» к группе 1 или группе 2, является произвольным. Итак, что мы можем сделать, так это снова и снова переставлять групповое назначение, каждый раз отмечая, как далеко друг от друга находятся средства обеих групп. Таким образом, мы получаем распределение выборки опытным путем. Затем мы можем сравнить, насколько эти два средства разделены в исходных выборках (до того, как мы начали перестановку членства в группах), и если это различие является «экстремальным» (т. Е. Попадает в хвосты эмпирически полученного распределения выборки), то мы заключаем членство в группах не является произвольным, и между этими двумя группами действительно есть разница.
Во многих ситуациях два подхода фактически приводят к одному и тому же выводу. В некотором смысле, подход, основанный на модели популяции, можно рассматривать как приближение к рандомизированному тесту. Интересно, что именно Фишер предложил модель рандомизации и предположил, что она должна послужить основой для наших выводов (поскольку большинство выборок не получают случайной выборкой).
Хорошая статья, описывающая разницу между двумя подходами:
Ernst, MD (2004). Методы перестановок: основа для точного вывода. Статистическая наука, 19 (4), 676-685 (ссылка) .
Еще одна статья, которая дает хорошее резюме и предлагает, чтобы подход рандомизации был основой наших выводов:
Ludbrook, J. & Dudley, H. (1998). Почему перестановочные тесты превосходят t и F тесты в биомедицинских исследованиях. Американский статистик, 52 (2), 127-132 (ссылка) .
РЕДАКТИРОВАТЬ: Я также должен добавить, что при использовании метода рандомизации обычно рассчитывается та же статистика теста, что и в модели популяции. Так, например, для проверки разницы в средних значениях между двумя группами можно рассчитать обычную t-статистику для всех возможных перестановок членства в группах (получая эмпирически выведенное распределение выборки при нулевой гипотезе), а затем проверить, насколько экстремальным t-статистика для первоначального членства в группе находится под этим распределением.