Тесты перестановки: критерии выбора статистики теста

Я регулярно использую тесты перестановок и люблю их простоту. Больше всего я узнал из книги Good о методах пересэмплирования, в которой автор, кажется, весьма креативен в выборе статистики тестов во всех примерах. Также этот пост создает впечатление, что существует большая свобода выбора статистики теста.

Мне интересно , есть ли теоретические требования, которым должна соответствовать статистика испытаний . Или мы можем просто использовать любую статистику, если она интуитивно понятна и имеет хороший уровень ошибок типа I / II?

Например, когда тест на перестановку используется вместо t-теста из-за ненормальных популяций, я несколько раз видел, как p-значение теста на перестановку все еще получается из t-статистики. Хотя это и не обязательно неправильно, это кажется странным выбором, учитывая происхождение дистрибутива Student.

Т-статистика имеет большой смысл в качестве тестовой статистики; многие люди находят это интуитивно понятным. Если я приведу t-статистику 0,5 или 5,5, она скажет вам кое-что - сколько стандартных ошибок, кроме средств.

Сложность - по крайней мере, с умеренной ненормальностью - заключается не столько в использовании статистики, сколько в использовании t-распределения для его распределения под нулем. Статистика довольно разумная.

Конечно, если вы ожидаете значительно более тяжелые хвосты, чем нормальные, более надежная статистика будет работать лучше, но t-статистика не очень чувствительна к небольшим отклонениям от нормы (например, она менее чувствительна, чем статистика отношения дисперсии).

Если вы хотите использовать только числитель статистики, это здорово, это имеет смысл в качестве статистики перестановок, если вы заинтересованы в разнице в средствах. Если вы заинтересованы в более общем смысле смещения местоположения, это открывает множество других возможностей.

Вы правы, считая, что есть большая свобода выбора статистики и ее адаптации к конкретным обстоятельствам - против каких альтернатив вы хотите повлиять или с какими возможными проблемами вы хотите быть устойчивыми (например, загрязнение может сила удара).

На самом деле ограничений практически нет - вы можете выбирать практически все, включая бесполезную статистику тестов. Есть некоторые соображения, о которых вы действительно должны подумать при выборе тестов, но вы не можете этого делать.

-

Тем не менее, есть некоторые критерии, которые могут применяться в различных обстоятельствах.

Например, если вас особенно интересует конкретная разновидность гипотезы, вы можете использовать статистику, которая ее отражает - например, если вы хотите проверить разницу в численности населения, часто имеет смысл сделать вашу тестовую статистику связано с разницей в выборочных средствах.

Если вы знаете что-то о типе распределения, которое у вас может быть - тяжелые хвосты, или косые, или условно легкие хвосты, но с некоторой степенью загрязнения, или бимодальные, ... вы можете разработать тестовую статистику, которая может хорошо работать в таких обстоятельствах, например, выбор статистики, которая должна хорошо работать в ожидаемой ситуации, но имеет некоторую устойчивость к загрязнению.

-

Симуляция - это один из способов исследования силы в различных ситуациях.