«Воспроизводимые исследования» как воспроизводимый анализ
Воспроизводимые исследования - это термин, используемый в некоторых областях исследований для обозначения конкретно проведения таких анализов, что
- код преобразует необработанные данные и метаданные в обработанные данные,
- код выполняет анализ данных и
- код включает анализы в отчет.
Когда такие данные и код используются совместно, это позволяет другим исследователям:
- выполнять анализы, о которых не сообщалось первыми исследователями
- проверить правильность анализов, выполненных оригинальными исследователями
Такое использование можно увидеть в обсуждениях таких технологий, как Sweave . Например, Фридрих Лейш пишет в контексте Sweave, что «отчет может автоматически обновляться при изменении данных или анализа, что позволяет проводить действительно воспроизводимые исследования». Это также можно увидеть в представлении задач CRAN по воспроизводимым исследованиям, в котором говорится, что «цель воспроизводимых исследований - привязать конкретные инструкции к анализу данных и экспериментальным данным, чтобы стипендию можно было воссоздать, лучше понять и проверить».
Более широкое использование термина «воспроизводимость»
Воспроизводимость является фундаментальной целью науки. Это не ново. Отчеты об исследованиях включают в себя разделы о методах и результатах, в которых должно быть указано, как данные генерировались, обрабатывались и анализировались. Общее правило заключается в том, что предоставленных данных должно быть достаточно, чтобы позволить компетентному исследователю принять предоставленную информацию и воспроизвести исследование.
Воспроизводимость также тесно связана с понятиями воспроизводимости и обобщения.
Таким образом, термин «воспроизводимые исследования», взятый буквально применительно к таким технологиям, как Sweave, является неправильным, поскольку он предполагает значимость, более широкую, чем он охватывает. Кроме того, представляя такие технологии, как Sweave, исследователям, которые не использовали такие технологии, такие исследователи часто удивляются, когда я называю этот процесс «воспроизводимым исследованием».
Лучший термин, чем «воспроизводимые исследования»
Принимая во внимание, что «воспроизводимые исследования», используемые в контекстах типа Свива, относятся только к одному аспекту воспроизводимых исследований, возможно, следует принять альтернативный термин. Возможные альтернативы включают в себя:
- Воспроизводимый анализ:
- Воспроизводимый анализ данных
- Воспроизводимый статистический анализ
- Воспроизводимая отчетность
Все вышеперечисленные термины являются более точным отражением того, что влечет за собой анализ типа Свива. Воспроизводимый анализ короток и приятен. Добавление «данных» или «статистических данных» дополнительно проясняет ситуацию, но также делает термин как более длинным, так и более узким. Кроме того, «статистический» имеет узкое и широкое значение, и, безусловно, в рамках узкого значения большая часть обработки данных не является статистической. Таким образом, широта, подразумеваемая термином «воспроизводимый анализ», имеет свои преимущества .
Дело не только в воспроизводимости
Другая дополнительная проблема, связанная с термином «воспроизводимые исследования», заключается в том, что целью технологий, подобных Свиву, является не просто «воспроизводимость». Есть несколько взаимосвязанных целей:
- Воспроизводимость
- Можно ли повторно провести анализ, чтобы преобразовать необработанные данные в окончательный отчет с теми же результатами?
- правильность
- Соответствует ли анализ данных намерениям исследователя?
- Верны ли намерения исследователя?
- откровенность
- Прозрачность, ответственность
- Могут ли другие проверять и проверять точность выполненных анализов?
- Расширяемость, модифицируемость
- Могут ли другие изменять, расширять, повторно использовать и объединять данные, анализы или и то, и другое для создания новых исследовательских работ?
Существует аргумент, что воспроизводимый анализ должен способствовать правильному анализу, потому что есть письменный отчет об анализах, которые можно проверить. Кроме того, если данные и код используются совместно, это создает ответственность, которая побуждает исследователей проверять свои анализы и позволяет другим исследователям отмечать исправления.
Воспроизводимый анализ также тесно связан с концепциями открытых исследований. Конечно, исследователь может использовать технологии, подобные Sweave, только для себя. Открытые исследовательские принципы поощряют совместное использование кода данных и анализа для обеспечения большего повторного использования и подотчетности.
Это не совсем критика использования слова «воспроизводимый». Скорее, это просто подчеркивает, что использование технологий, подобных Sweave, необходимо, но недостаточно для достижения целей открытого научного исследования.