Где можно получить хорошие наборы данных / тестовые задачи для тестирования алгоритмов / процедур?

41

Оценивая качество программного обеспечения, которое вы собираетесь использовать (будь то что-то написанное вами или консервированный пакет) в вычислительной работе, часто полезно посмотреть, насколько хорошо оно работает со стандартными наборами данных или проблемами. Где можно получить эти тесты для проверки вычислительных процедур?

(Один сайт / книга за ответ, пожалуйста.)

testing data-sets

— JM
источник

Я хотел, чтобы это был пост вики-сообщества, и пометил его для конвертации.

— JM

3

не является ли этот вопрос слишком широким, то есть он зависит от алгоритмов / характера проблемы, для решения которой используется это программное обеспечение?

— Андре Хольцнер

Я действительно хотел, чтобы этот вопрос был вики сообщества @Andre (как «большой список» ресурсов); Я пометил его для конвертации, но я не знаю, почему он не был конвертирован.

— JM

@JM Я конвертировал это.

— Дэвид Кетчесон

15

Если вы заинтересованы в проведении анализа разреженных матриц, я бы также рассмотрел коллекцию разреженных матриц Дэвисского университета Флориды и рынок матриц .

— Aron Ahmadia
источник

1

Существует также Matrix Market math.nist.gov/MatrixMarket

— Stali

13

Метод изготовленных решений является стандартом для тестирования PDE и других решателей. Большинство систем символьной алгебры имеют средства для генерации кода, это полезно для создания готовых решений. SymPy и Maple имеют функцию ccode, в том числе для этой цели.

— aterrel
источник

10

Набор тестов для IVP (Задачи начального значения для специалистов по ODE) в настоящее время поддерживается сотрудниками Университета Бари, Италия, которые переняли его из CWI Amsterdam.

— Джитс Нисен
источник

1

Некоторые дополнительные тестовые наборы для IVP приведены в этом ответе от JM на Math.StackExchange: math.stackexchange.com/a/59398

— Дэвид Кетчесон

9

Для тестирования алгоритмов разбиения графа существует архив разделов графов Уолшоу .

— Арон Ахмадия
источник

8

В вычислительном электромагнетизме есть известный (или печально известный из-за трудностей в некоторых) набор тестовых задач: Тестирование методов электромагнитного анализа (TEAM) .

Некоторые из них действительно нуждаются в серьезных современных численных методах, чтобы привести правильные результаты моделирования в соответствие с экспериментальными данными. Например, проблема проводник-катушка .

Другой набор тестовых задач для уравнений Максвелла составлен Даугом: эталонные вычисления для уравнений Максвелла для аппроксимации сильно сингулярных решений . Тот, что в знаменитом (или печально известном) кубе Фичеры:

Фикера

любые и $\phi\in H^{1+\epsilon}$ $\mathbf{E} = -\nabla \phi$ живущие на этом кубе, будут вызовом для ваших числовых кодов PDE.

Δ U знак равно 0, где U знак равно р^{α} грех (α θ),

$\Delta u= 0,\quad \text{where }\;u = r^{\alpha}\sin(\alpha \theta).$

— Шухао Цао
источник

7

Если вы заинтересованы в алгоритмах бенчмаркинга, связанных с молекулярными структурами, база данных pubchem содержит большую коллекцию в основном органических молекул. Это может быть полезно для сравнения прогнозов молекулярных свойств, полученных с помощью различных моделей / программ. На сайте есть несколько вариантов загрузки больших партий молекул, которые удовлетворяют некоторым заранее определенным критериям (например, химический состав).

— Мультяшка верстрален
источник

7

Арнольд Ноймайер поддерживает стабильные тестовые задачи для неограниченной и ограниченной оптимизации (нелинейное программирование). В эту коллекцию включены стандартные тестовые задачи для безусловной оптимизации, предложенные Moré, Garbow и Hillstrom.

— JM
источник

7

Привлекательнее веб - сайт обновляет МИЛЫЙ тестовый набор указанны на веб - сайте Арнольда Neumaier с некоторыми дополнительными проблемами для оптимизации и решения линейных уравнений. Кроме того, он предоставляет программные средства для тестирования и обновления линейной алгебры и решателей оптимизации.

— Джефф Оксберри
источник

7

Тесты Афины, если вы решаете гиперболические законы сохранения.

— Андреас Клёкнер
источник

6

Мы используем наборы данных о погоде в нашем программном обеспечении для моделирования энергии зданий Для США наборы данных состоят из наблюдений за погодой (обычно в аэропортах) каждый час в течение предшествующих 20 лет.

Наборы данных доступны для скачивания .
Руководство по описанию формата файла .

— Tangurena
источник

6

Для тестирования статистических алгоритмов имеется «Справочник малых наборов данных», составленный DJ Hand, F. Daly, K. McConway, D. Lunn и E. Ostrowski. Некоторые из этих наборов данных можно скачать здесь .

— JM
источник

4

Для тестирования многомерного статистического анализа и алгоритмов машинного обучения существует хранилище наборов данных UCI по адресу http://www.ics.uci.edu/~mlearn/

— Сэм Робертс
источник

4

Сайт Ханса Миттельмана является отличным ресурсом для навигации по текущим программным возможностям в числовой оптимизации. Он включает в себя свои собственные тесты, а также ссылки на другие тесты для тестовых задач в оптимизации .

— Арон Ахмадия
источник

3

Алан Генз предложил тестовый набор функций в статье « Тестирование многомерных процедур интеграции» . Я не могу найти онлайн версию этого документа, но ссылки на него можно найти в статьях о библиотеке CUBA .

— DLS
источник

3

Существует совокупность опорных PDE ограниченных задач оптимизации , поддерживаемых Roland Herzog на Ту-Хемнице здесь .

— Эндрю Т. Баркер
источник

2

Хорошее программное обеспечение должно быть протестировано и должно содержать информацию о том, как авторы тестировали, и либо предоставлять сами наборы тестовых данных (например, в форме регрессионных тестов), либо, по крайней мере, предоставлять ссылки на данные, с которыми оно тестировалось.

— Вольфганг Бангерт
источник

Слышу, слышу; см. Воспроизводимость и след. и воспроизводимые-исследовательские-и-IPython-ноутбуки .

— Денис

2

Если вы ищете большие графики или сетевые данные для тестирования. Stanford Network Analysis Project (SNAP) имеет много больших графы наборов данных , как правило , в виде анонимного списка смежности. Некоторые из их вариантов включают в себя:

Данные

Социальные сети : Facebook, Gplus, Twitter, биткойны и др.
Сети цитирования : узлы представляют собой статьи, ребра - это цитаты.
Веб-графики : узлы представляют собой страницы wedbpages, ребра - это гиперссылки.
Дорожные сети : узлы представляют собой перекрестки, края - это дороги, соединяющие перекрестки.
Подписанные сети : вес положительного и отрицательного фронта.
Временные сети : края имеют временные метки.
Много, много, других ...

Свойства данных

Количество ребер: от 10 до 400 миллионов
Количество узлов: от 10 до 100 миллионов
Типы кромок: направленные, ненаправленные, взвешенные, невзвешенные, подписанные и неподписанные.
Типы сетей: направленная, ненаправленная, двудольная, мультиграфическая, временная, маркированная.

Наземная статистика правды доступна в наборах данных:

Количество узлов
Количество ребер
Количество узлов в крупнейшем слабосвязанном компоненте
Количество ребер в крупнейшем слабосвязанном компоненте
Количество узлов в наибольшем сильно связанном компоненте
Количество ребер в самом большом сильно связанном компоненте
Средний коэффициент кластеризации
Количество треугольников
Фракция замкнутых треугольников
Диаметр (самый длинный кратчайший путь)
Эффективный диаметр 90 процентов

инструменты

SNAP Tool для C ++ : универсальный инструмент с высокой производительностью для анализа и манипулирования большими сетями.
Инструмент SNAP для Python

— Райана
источник

@JM нет проблем! Некоторое время назад я использовал некоторые из их наборов данных социальной сети для проекта, а затем наткнулся на этот обмен стеками и подумал, что это может быть полезно здесь.

— Райана

-3

Данные просты; API, чтобы получить это может быть жестким. Я рекомендую Quandl . Этот сайт содержит более 10 миллионов общедоступных наборов данных, доступных через один простой API-интерфейс REST. Все данные возвращаются в формате CSV или JSON. Или, если программирование вам не подходит, есть простые способы получить данные в Excel. Программисты на R, Python и Ruby будут чувствовать себя как дома с родными библиотеками.

— Брайан Риск
источник

1

Добро пожаловать в Scicomp! Я не думаю, что это тот тип данных, о котором идет речь; Для тестирования алгоритмов вам нужен не только набор данных, но и соответствующий известный результат (в зависимости от проблемы / алгоритма), с которым нужно сравнить ваши результаты.

— Кристиан Клэйсон

Спасибо, @ChristianClason. Я понимаю что ты имеешь ввиду. Например, если программное обеспечение предназначено для линейной регрессии, автора интересуют наборы данных, а также набор проверенных результатов анализа для проверки правильности работы пакета линейной регрессии.

— Брайан Риск