Можно ли динамически увеличивать размер выборки, если это указано априори?

Я собираюсь сделать исследование о достоинствах одного стимула по сравнению с другим с внутри-предметным дизайном. У меня есть схема перестановок, предназначенная для уменьшения влияния порядка в некоторых частях исследования (порядок типов задач, порядок стимулов, порядок набора задач). Схема перестановки диктует, что размер выборки делится на 8.

Чтобы определить размер выборки, мне нужно было бы сделать предположение (что является хорошей традицией в моей области) или рассчитать размер выборки для моей желаемой мощности. Теперь проблема в том, что я не имею ни малейшего понятия, насколько велик размер эффекта, который я собираюсь наблюдать (также хорошая традиция в моей области). Это означает, что расчет мощности немного сложен. С другой стороны, делать неверные предположения также может быть плохо, потому что я могу либо выбрать слишком маленький размер выборки, либо заплатить слишком много денег своим участникам и провести слишком много времени в лаборатории.

Можно ли заранее заявить, что я добавляю участников партиями по 8 человек, пока не покину коридор с двумя значениями р? Например, 0,05 <р <0,30? Или как еще, вы бы порекомендовали мне продолжить?

Во-первых, чтобы ответить на ваш вопрос напрямую: нет, вы не можете просто продолжать идти, пока не получите значительное значение p. Предлагаемый вами проект имеет уровень ошибок типа I выше 5%. Однако основная идея верна, за исключением того, что вы должны отрегулировать срезы. На самом деле, как упоминал @cardinal в комментариях, для вашего вопроса есть целая область исследований: они называются последовательными, групповыми или, в более общем смысле, адаптивными конструкциями (это не одно и то же, но все время линии твоей идеи).

Вот ссылка, которая демонстрирует некоторые из основных идей: C. Mehta, P. Gao, DL Bhatt, RA Harrington, S. Skerjanec, JH Ware Оптимизирующий дизайн проб : циркуляция последовательных, адаптивных и обогащающих стратегий . 2009; 119: 597-605

Рассматривали ли вы, глядя на власть в диапазоне размеров эффекта? Например, я часто вычисляю мощность как кривую, и в итоге получаю множество потенциальных сценариев, вписанных в график, где я могу затем принять решение о размере выборки. Например, я мог бы рассчитать необходимый размер выборки для мер воздействия, варьирующихся от очень близких к нулю до чуть более высоких, чем мои самые смелые мечты об этой проверке.

Я мог бы также построить другие сценарии, в зависимости от того, сколько я не знаю о данных. Например, ниже приведен график, который рассчитывает мощность, а не размер выборки, но имеет аналогичную концепцию. Я очень мало знаю о данных, поэтому для анализа выживаемости я принял 10% -ную частоту событий, а затем рассчитал мощность исследования (размер выборки был фиксирован) для ряда условий:

В этом случае можно даже изменить количество событий, в результате чего у вас останется либо несколько сюжетов, либо «Поверхность власти». Похоже, что это гораздо более быстрый способ получить представление о том, где вы должны искать размер выборки, чем изменять размер выборки на лету. Или, по крайней мере, дать вам порог, когда вы можете перестать добавлять людей. Например, если ваши расчеты говорят о том, что 1000 человек позволят вам увидеть эффект чего-то очень маленького - например, коэффициент опасности 1,01 или тому подобное - вы знаете, что если вы нажмете это, вы можете прекратить попытки добавлять людей, потому что это не проблема власти, а проблема "Там ничего нет".

При выполнении энергетических расчетов вопрос, который я обычно задаю (в моей области, которая также имеет эти традиции), как правило, звучит так: «Насколько велик должен быть эффект, который должен заботить людей?». Если ваш метод «значительно» лучше с улучшением на 0,1%, кого-нибудь это волнует? Как насчет улучшения на 0,01%?