Рандомизация неслучайной выборки

Я всегда немного удивлен, увидев психологическую рекламу для участия в экспериментальных исследованиях. Конечно, люди, которые отвечают на эти рекламные объявления, не отбираются случайным образом и, следовательно, являются самостоятельным отбором населения.

Поскольку известно, что рандомизация решает проблему самоотбора, мне было интересно, действительно ли рандомизация неслучайной выборки что-то изменила.

Что вы думаете ? А также, что мы должны сделать из всех этих психологических экспериментов, основанных на сильно выбранной выборке?

Рандомизация в неслучайной выборке все еще может показать, что эффект не обоснованно объясняется случайным изменением.

Например, представьте, что у нас есть популяция с двумя нераспознанными подгруппами (с несколько отличающимися характеристиками *) примерно одинакового размера, но ваша выборка неслучайна, что дает разделение 80/20. Давайте представим 2 группы лечения одинакового размера. Рандомизация (по крайней мере, с приличными размерами выборки) будет иметь тенденцию давать примерно 80/20 в каждой группе, так что эффекты лечения связаны с лечением, а не с неравным распределением гетерогенных групп по лечению.

* приводя к различным базовым средствам, скажем

Проблема возникает, когда вы хотите расширить вывод на некоторую целевую группу, отличную от той, которую представляет ваша выборка (самоотборы); это требует допущений / аргумента, для которого у вас может не быть доказательств (например, предположения, что, скажем, различия в лечении будут одинаковыми для всех подгрупп населения).

Для аналогичной ситуации представьте себе тестирование препарата от гипертонии только на мужчинах по сравнению со стандартным лечением и плацебо. Предположим, что мужчины правильно рандомизированы в группу лечения. Эффект лечения будет реальным в том смысле, что он действительно описывает эффект у мужчин. Трудность возникнет, если попытаться распространить этот вывод на женщин .

Таким образом, если они правильно проведены и рандомизированы отдельно от набора, наблюдаемый значительный эффект будет таким, каким он кажется, но он будет применяться к тому, что вы на самом деле выбрали, а не к тому, какой была ваша желаемая цель - преодоление разрыва между двумя требовать осторожного аргумента; такой аргумент часто отсутствует.

Когда я был студентом, психологические эксперименты довольно часто проводились на студентах-психологах, которые должны были добровольно участвовать в таких экспериментах в течение определенного количества часов (это все еще может иметь место, но у меня нет регулярных контактов с психологами). кто больше занимается экспериментами). При рандомизации лечения выводы могут быть достоверными (в зависимости от того, что было сделано), но будут применяться к местному населению самостоятельно выбранных студентов-психологов (в том смысле, что они обычно выбирают, на какие эксперименты подписываться), которые очень далеки от случайная выборка более широкой популяции.

Поскольку известно, что рандомизация решает проблему самоотбора, мне было интересно, действительно ли рандомизация неслучайной выборки что-то изменила.

Короче нет. Подумайте об этом так: у вас есть урна с 100 черными шарами и 100 белыми шарами. Вы берете 90 черных шаров и 10 белых шаров из него. Выборка случайным образом из этого подобразца не позволит вам сделать беспристрастный вывод о самой урне.

А также, что мы должны сделать из всех этих психологических экспериментов, основанных на сильно выбранной выборке?

Люди согласны с тем, что неслучайная выборка является проблемой. Но насколько серьезна проблема, так это вопрос вашей «теории» механизма, который вас интересует. Если ваша гипотеза имеет дело с механизмом, который должен быть в основном одинаковым для всех людей (то есть испытывать ощущение замерзания при погружении в ледяной покров) вода), то неслучайный выбор не имеет большого значения. К сожалению, это часто не то, что нас интересует.

Существует методика, разработанная для решения упомянутых вами проблем, известная как Bootstrapping. Начальная загрузка - это подход, при котором вы генерируете новые синтетические сэмплы, вытягивая их из фактического пула с заменой. Затем вы делаете статистику по каждому из этих синтетических пулов выборок и сравниваете статистику между наборами.

Это имеет сильное преимущество, позволяя вам использовать очень много дополнительных инструментов в вашей статистике, потому что эти синтетические примеры взяты из известного дистрибутива. Затем вы можете определить, насколько хорошо ваши оценщики справляются с этими синтетическими случаями. Если вы обнаружите, что оценки для всех ваших синтетических выборок хорошо сходятся к одному и тому же результату, предположения начальной загрузки позволяют сделать вывод, что ваши оценки, применительно к полной выборке, дают хорошие оценки для неизвестной совокупности. Если, с другой стороны, вы обнаружите, что ваши оценки дают очень разные результаты от набора синтетической выборки до набора синтетической выборки, вы должны сделать вывод, что ваши оценки, применительно к полной выборке, могут не дать очень хорошую оценку для неизвестной совокупности.

Этот подход начальной загрузки может использоваться, чтобы проверить, достаточно ли рандомизации вашей неслучайной выборки. Конечно, это не может доказать это, но он использовался как инструмент для повышения достоверности, дважды проверив ваше предположение, что ваша случайная выборка является достаточно случайной.