Проверка веб-тестов a / b путем повторного запуска эксперимента - это действительно ли так?

На вебинаре, проведенном на днях компанией по тестированию a / b, их резидент «Data Scientist» объяснил, что вам следует проверить свои результаты, повторно выполнив эксперимент. Исходя из этого, если вы выбрали 95% достоверности, существует вероятность 5% (1/20) ложного срабатывания. Если вы повторно запустите свой эксперимент с теми же ограничениями, то теперь будет 1/400 (я предполагаю, что они определили это как 0,05 ^ 2 = 1/400)

Это правильное утверждение? (т. е. «выполнить дважды, две статистически значимые победы = 1/400 вероятности ложного срабатывания»)? Это был бы лучший подход для повышения вашего уровня значимости?

С точки зрения бизнеса, меня беспокоит повторный запуск эксперимента, когда вы открываете большему количеству пользователей низкую страницу (обработку) и тем самым теряете потенциальные продажи.

Игнорируя вероятности ложного срабатывания на данный момент, я бы посмотрел на это так:

1. Если вы проводите эксперимент дважды и получаете один и тот же результат, вы не представляете, были ли два подряд положительных результата или два ложноположительных результата подряд.
2. Если вы проведете эксперимент дважды и получите два разных результата, то вы не знаете, какой из них является истинно положительным, а какой - ложноположительным.

В любом случае вам следует провести третий эксперимент, чтобы быть уверенным. Это может быть хорошо для экспериментов, которые относительно недороги, но там, где стоимость потенциально высока (например, потеря клиентов), вам действительно нужно учитывать выгоду.

Глядя на вероятности, при первом запуске эксперимента вероятность ложного срабатывания составляет 1/20. Во второй раз, когда вы запускаете эксперимент, вероятность ложного срабатывания все еще составляет 1/20 (представьте, что это бросок кубика, где каждый бросок имеет 1/6 вероятности получить определенное число). Есть только 1/400 шансов получить два ложных срабатывания подряд.

Реальная проблема заключается в том, чтобы иметь четко определенную гипотезу со строгими процедурами и иметь размер выборки, уровень ошибок и доверительный интервал, с которым вы можете жить или позволить. Повтор эксперимента следует оставить для изучения

1. клиенты со временем
2. изменения, внесенные организацией
3. изменения, внесенные конкурсом

а не второй гадать результаты. Хотя объяснить это менеджерам легче, чем сделать.

Да, это утверждение верно, если предположить, что ваш эксперимент идеален. Но получить идеальный эксперимент намного сложнее, чем это чувство дает доверие. Данные «реального мира» беспорядочны, сложны и, во-первых, их трудно интерпретировать. Существует огромный простор для некорректного анализа, скрытых переменных (очень редко "одни и те же ограничения") или недопонимания между специалистом по данным, выполняющим свою работу, и специалистом по маркировке, выполняющим свою.

С точки зрения бизнеса обеспечить хорошую методологию и не быть слишком уверенным в результатах; сложнее, чем вы думаете. Как только вы это сделаете, работайте над этими 5%.