Какой материал я должен включить в журнальную статью (или опубликовать в Интернете), чтобы сделать мои вычислительные исследования воспроизводимыми?

Воспроизводимость становится все более важной в научных исследованиях в области вычислительной техники. (Например, см. Эту статью Роджера Пенга в журнале « Наука» ; мне известны и другие подобные статьи и веб-сайты.) Однако мне не ясно, сколько информации я должен включить в журнальную статью (или онлайн), чтобы сделать мои компьютерные исследования воспроизводимы (при условии, что нет никаких других препятствий, таких как соглашения об интеллектуальной собственности). Существуют ли какие-либо руководящие принципы, и если нет, могут ли люди предложить, какие шаги следует предпринять исследователям, чтобы сделать их исследования в области вычислительной техники воспроизводимыми?

В ответах особенно пригодятся возможные способы реализации этих предложений - в основном, рабочих процессов. Рабочие процессы, которые не зависят от системы или на основе Linux, являются предпочтительными. Кроме того, обсуждение любого имеющегося у вас личного опыта также будет полезно.

В моем конкретном случае я пишу теоретическую статью с несколькими примерами расчетов, которые достаточно просты, чтобы их можно было сделать в MATLAB. Я думаю, что в этом случае, включая сценарий MATLAB, а также указание конкретной версии MATLAB на моем компьютере, будет достаточно для обеспечения воспроизводимости. Однако я уверен, что существуют более сложные сценарии, и советы о том, как проводить воспроизводимые исследования, было бы очень полезно знать для будущих проектов.

В грубом порядке важности.

Исходный код

1. Сделайте код, который реализует ключевые аспекты вашего алгоритма, доступным. Даже если пользователь не может построить или запустить его, он может прочитать именно то, что сделано. Я несколько раз замечал простые решения, которые не были документированы в документе, но на которые пару минут с исходным кодом ответили окончательно.
2. Сделайте это работоспособным. Это включает в себя документирование версий зависимых библиотек и, как правило, требует написания несколько переносимого кода. Убедитесь, что он построен как минимум на одной машине, отличной от вашей (легко иметь скрытые зависимости, если вы никогда не создавали его в чистой среде).
3. Укажите версию кода, который был использован. Если это не официально выпущенная версия (а иногда даже тогда), документируйте SHA1 версии. (Это наиболее естественно относится к DSCM, таким как Git и Mercurial, но может использоваться где угодно.) Это очень надежный способ гарантировать, что кто-то действительно имеет ту же версию кода.
4. Включите конфигурацию и параметры хоста, включая производителя компилятора, версии и флаги оптимизации, системные библиотеки, такие как libc, тип процессора, а также тип и топологию памяти (особенно для исследований производительности).

Параметры времени выполнения / входные файлы

Включите полную спецификацию ввода. Если он был сгенерирован скриптом, включите этот скрипт. Если это огромные данные, запишите, как получить и обработать данные. Если ваш алгоритм имеет случайность, укажите генератор случайных чисел и начальное число, которое использовалось.

Скрипты для генерации рисунков и таблиц

Очень полезно включить эти сценарии, чтобы прояснить любые вопросы о том, что на самом деле показывают цифры, и позволить читателю поэкспериментировать с тем, как все меняется, если они изменяют параметры или модифицируют алгоритм.

Большинство журналов не предназначены для этого каким-либо формальным образом, но мы недавно создали Архив цифрового программного обеспечения, специально предназначенный для того, чтобы иметь исходный код и все остальное, что необходимо, чтобы быть частью статьи. Проверьте это: http://journals.tdl.org/ans Материалы приветствуются!

В

Стодден, V. 2009. «Правовые рамки воспроизводимых научных исследований». CiSE .

Виктория Стодден рекомендует опубликовать полный «сборник исследований» и перечисляет следующие компоненты на с. 38:

1. Исследовательская работа
2. Данные - включая документацию и код для обработки данных
3. Эксперимент - весь исходный код; документация, параметры, настройки и зависимости операционной системы
4. Результаты эксперимента - рисунки, данные, иллюстрации исходных файлов; и документация и объяснение обработки результатов эксперимента
5. Любой вспомогательный материал

По крайней мере, исходный код и данные, которые вы использовали для проведения экспериментов, должны быть доступны где-то. Добавьте инструкции для сборки своего кода, если это необходимо. На самом деле журналов с открытым доступом так мало, что не существует открытого и установленного правила.

Я работаю на Elsevier. Моя компания начала использовать платформу Collage (разработанную в ответ на выполнимую заявку Grand Challenge) в журнальных выпусках, чтобы позволить авторам включать все данные и код, необходимые для воспроизведения результатов и рисунков в своих статьях. Эта функция позволяет читателям воспроизводить результаты, представленные в статье, и повторно использовать опубликованные материалы для своих собственных исследований. Collage поддерживает широкий спектр открытого и закрытого программного обеспечения; Более подробную информацию можно найти в информационном видео здесь и на веб-сайте Collage Authoring Environment .