Учебники / чтения о том, что делать, если вы не можете создать идеальный эксперимент?

Моя статистическая подготовка основана на математической статистике, и посещение этих методов в моем MS в настоящий момент немного шокирует; в настоящее время мне трудно понять некоторые из этих «прикладных» методов, поскольку у меня нет опыта в этой отрасли.

Одной из тем, о которых мы говорили на моих занятиях по методам, является идея экспериментального дизайна.

Скажем, например, я хочу провести эксперимент по эффективности образовательной программы, которая претендует на повышение тестовых баллов учащихся K-12.

На занятиях по методике они учили следующее, чтобы решить такую ​​проблему: убедитесь, что у вас есть хороший исследовательский вопрос, хороший метод сбора данных, рандомизированный эксперимент, однородные группы лечения (то есть, одна, получавшая эту программу, одна, возможно, одна нет) в идеале равного размера, а затем запустите тест (или какой-то непараметрический тест гипотезы), и все будет хорошо, да?$t$

Я мало верю, что так оно и есть на самом деле.

Я узнал, что, конечно, вам, возможно, придется сделать несколько удобных выборок. Но кроме этого, я понятия не имею, как реализовать экспериментальный дизайн, кроме того, что я узнал из учебника.

Существуют ли какие-либо учебники, чтения и т. Д., Которые исследуют эти вопросы на практике (и, в идеале, не замазывайте математику - мне не нужны подробные доказательства всего, но я не хочу, чтобы мне говорили, что все есть " очевидно "например"?

Есть две области, где рандомизированные эксперименты почти всегда невозможны: это социальные науки и экономика. В этих случаях вы можете делать только «квазиэксперименты». Попробуйте поискать по ключевым словам квазиэксперименты, обсервационные исследования и социальные науки ; Вы получите несколько хороших учебников. Я могу порекомендовать две отличные книги на эту тему: вторая книга Шадиша и Кука является классической:

1. Контрфактуальность и причинный вывод: методы и принципы социальных исследований Моргана и Виншипа
2. Экспериментальные и квазиэкспериментальные проекты для обобщенного причинного вывода Уильяма Р. Шадиша и Томаса Д. Кука

Настоятельно рекомендуется также классическая статья, которая использует метод под названием «сопоставление баллов предрасположенности» в неэкспериментальных условиях для причинного вывода Дехеджиа и Вахба .

Дополнительные рекомендации:

1. Дизайн наблюдательных исследований Пола Р. Розенбаума.
2. Причинный вывод для статистики, социальных и биомедицинских наук: введение Имбенса и Рубина.

Если вы смотрите на квазиэксперименты с временными рядами, в вышеприведенных книгах есть несколько глав, посвященных им, но отдельная книга написана Джином против Гласса «Проектирование и анализ экспериментов с временными рядами», и я проверю его статью « Прерванные временные ряды» .

Общая информация: Джин V Glass ввел термин " метаанализ ".

Здесь квазиэкспериментальные конструкции могут быть полезны. Во многих ситуациях на практике экспериментальные планы не практичны, потому что, хотя у вас есть лечение, вы не можете выполнить случайное распределение по группам или, возможно, у вас есть только одна группа.

В вашем примере с обучением вы не можете контролировать, кто получает лечение, потому что вы намереваетесь выполнить вмешательство для всех детей в одной школе. Тем не менее, вы можете сравнить их баллы с баллами за предыдущие годы, или рандомизировать классы, чтобы некоторые классы получали вмешательство раньше других, или сравнивать несколько школ, в том числе те, которые не получали интервенцию.

Возможно, имеет смысл создать план с прерывистыми временными рядами, в котором у вас есть только одна группа, но постоянно проводить измерения и назначать лечение в середине продолжительности вашего исследования. Таким образом, вы можете увидеть, изменился ли наклон зависимой переменной во времени сразу после обработки относительно общего наклона в течение всего исследования. Количество измерений может быть всего 3, но чем больше, тем лучше.

Итак, я предлагаю прочитать о квазиэкспериментальных исследованиях.

Наиболее тщательным, общим и точным подходом к причинности является «Иудея Перл 2009», «Причинность», 2-е изд., Издательство Кембриджского университета.

Особенно ясно, что причинно-следственная связь на самом деле не является статистической проблемой - даже неограниченные данные не решают ее. Он вводит точный язык для выражения качественных и теоретических знаний, необходимых для причинного вывода, когда что-то о данных неоптимально. Вы увидите, что неудачная рандомизация - лишь одна из многих проблем. Он также включает все другие математические структуры, например, Imbens, Rubin и Rosenbaum. Я не могу преувеличить, насколько доступным, элегантным и мощным является его подход.

Я настоятельно рекомендую это. Тем не менее, вы должны читать его нелинейным образом (главы 5 и 11 более доступны, а затем вы можете работать в обратном направлении через главы 1, 3 и 7 для понимания общей теории).

Когда вы поймете основы, вы сможете легко ознакомиться с более поздними достижениями, например, о том, когда можно «перенести» причинно-следственные связи из одного контекста в другой, что не всегда возможно даже при рандомизации (Перл, Иудея и Илия). Bareinboim 2014, «Внешняя валидность: от исчисления до переносимости между популяциями». Статистическая наука).

Возможно, это то, что вы ищете ...

Статистика для экспериментаторов

Дизайн и анализ экспериментов

Дизайн и анализ экспериментов с R (не относится к предыдущему заголовку)

Улучшение процесса с использованием данных (бесплатно онлайн или в формате PDF, глава 5 посвящена DoE)