Когда у нас есть числовая модель, представляющая реальную физическую систему и демонстрирующая хаос (например, модели гидродинамики, модели климата), как мы можем знать, что модель работает так, как должна? Мы не можем сравнивать два набора выходных данных модели напрямую, потому что даже небольшие изменения начальных условий резко изменят результаты отдельных симуляций. Мы не можем сравнивать результаты модели непосредственно с наблюдениями, потому что мы никогда не сможем с достаточной детализацией узнать начальные условия наблюдений, и численное приближение в любом случае вызовет незначительные различия, которые распространятся по всей системе.
Этот вопрос частично вдохновлен вопросом Дэвида Кетчона о модульном тестировании научного кода : меня особенно интересует, как можно реализовать регрессионные тесты для таких моделей. Если незначительное изменение начальных условий может привести к значительным выходным изменениям (которые вполне могут быть адекватными представлениями реальности), то как мы можем отделить эти изменения от изменений, вызванных изменением параметров или внедрением новых числовых процедур?