Какое программное обеспечение и рабочий процесс рекомендуется для публикации научных данных и графиков?

Какое программное обеспечение обеспечивает хороший рабочий процесс от простого построения нескольких точек данных до создания графики уровня публикации с подробными стилями, математической версткой и «профессиональным качеством»?

Это немного связано с вопросом Дэвида (« Какие атрибуты делают фигуру профессиональным качеством?» ), Но основное внимание уделяется не атрибутам, а программному обеспечению или общему рабочему процессу, который нужно сделать. У меня есть поверхностный опыт работы с рядом программ, Gnuplot, Origin, Matplotlib, TikZ / PGFplot, Qtiplot, но анализ данных и хорошие цифры в одно и то же время кажется довольно трудным делом.

Есть какое-то программное обеспечение, которое позволяет это, или я должен только копать глубже в одном из пакетов?

Изменить: мой текущий рабочий процесс представляет собой смесь различных компонентов, которые более или менее работают вместе, но в целом он не очень эффективен, и я думаю, что это типично для ряда ученых в университетской лаборатории. Обычно это цепочка, начинающаяся с эксперимента и заканчивающаяся публикацией, подобной этой:

1. Получить экспериментальные данные (обычно в форме ASCII, но с другим форматом, например, заголовки, комментарии, количество столбцов)
2. Быстрый график данных, чтобы проверить, что ничего не пошло не так в программе Origin, Gnuplot или тайной программе, написанной 20 лет назад.
3. Более детальный анализ данных: вычитание фоновых вкладов, анализ зависимостей и корреляций, согласование с теоретическими моделями. Многие ученые используют Origin для этой задачи, некоторые из них используют Matlab и Python / Scipy / Numpy.
4. Создание профессиональных фигур, это включает в себя адаптацию к руководствам журнала, математической верстки и общего редактирования. На данный момент я использую Origin для этого, но у него есть несколько недостатков (просто попробуйте получить ширину линии ровно 0.5pt, это невозможно). Для комбинирования / полировки рисунков я в основном использую Adobe Illustrator, поскольку он прекрасно справляется с импортом / экспортом документов PDF, но я бы предпочел не выполнять два шага для каждой диаграммы.

Я добавил пример того, как это может выглядеть в конце (так как это было создано в основном вручную, изменение чего-либо болезненно, и все, что обеспечивает интерфейс, например, для установки ширины линии для всех элементов, было бы неплохо):

Если у вас есть некоторый опыт работы с Python (или даже нет), я бы рекомендовал использовать научное программное обеспечение Python, которое доступно ( SciPy , Pandas ), ...), вместе с Matplotlib . Будучи средой программирования, вы имеете полный контроль над потоками данных, манипулированием данными и построением графиков. Вы также можете использовать «полные приложения» Mayavi2 или Veusz .

Исходя из того, что вы говорите, язык сценариев общего назначения является, вероятно, вашим лучшим выбором, если он имеет какую-то графическую возможность, к которой вы можете получить доступ (встроенный или импортированный).

В этом ключе MATLAB будет работать, хотя вам придется играть с шириной линий, символами и осями для графиков качества презентации. Учитывая ваши критерии, я бы сказал, что большая слабость MATLAB заключается в детальной математической верстке; MATLAB может использовать некоторые ярлыки TeX, но есть некоторые команды LaTeX, которые он не может обработать, поэтому я помню, что мне нужно было возвращаться назад и вырезать и вставлять некоторые ярлыки LaTeX из PDF в Adobe Illustrator.

Python + NumPy будет работать для импорта данных, потому что numpy.loadtxtделает импорт текстовых данных безболезненным. На этом этапе вы можете выбирать между matplotlib и Gnuplot (у которого есть интерфейс Python через Gnuplot.py ; с 2008 года нет активной разработки интерфейса, но опять же, Gnuplot меняет все так сильно, даже если он продолжает добавлять релизы? ). Оболочка Pythesy от MatthewEmmett также может работать, в зависимости от того, что вы хотите сделать. Matplotlib обладает отличной математической версткой (как отмечает Barron), и манипуляции с данными могут выполняться с использованием NumPy, SciPy или любого другого пакета Python, который вы хотите добавить в свои данные.

Проблема, с которой я столкнулся с gnuplot, заключается в том, что он действительно построен только для печати. Мне было непонятно, как манипулировать данными на языке сценариев gnuplot. Я по существу сделал все свои манипуляции с данными заранее, прежде чем выводить их в текст, потому что я не мог понять, как это сделать иначе. Вы можете использовать gnuplot для оценки формул и выполнять некоторые манипуляции, но для меня Python имеет гораздо более естественный синтаксис и имеет большую общую полезность, чем gnuplot. Я не хочу изучать другой язык только для того, чтобы сделать что-то одно, если только это не действительно естественный, легкий для изучения язык. (Или если меня не заставят.)

Tecplot 360 имеет аналогичную проблему. Tecplot 360 производит удивительные сюжеты, особенно в 3D. Есть вещи, которые вы можете сделать с Tecplot 360, используя относительно простой в освоении графический интерфейс, который вам, вероятно, будет трудно сделать в другом пакете печати. Последний раз я использовал Tecplot 6 или 7 лет назад; видимо, они добавили много функциональности с тех пор. Манипулирование данными может осуществляться с помощью индексации, нарезки или создания зон. Производные величины могут быть рассчитаны с использованием уравнений. Вы также можете взять преобразование Фурье своих данных, выполнить интерполяцию (или кригинг) и сделать ряд других вещей. Не понятно, как делать математическую верстку. Я думаю, вы могли бы взломать вывод HTML из Tecplot и добавить MathJax или MathML? На мой взгляд, недостатки Tecplot заключаются в том, что он не бесплатный (что означает, что в качестве инструмента возможно, вы не сможете взять его с собой на работу), а также на сложные математические наборы и на то, что для написания сложных манипуляций с данными требуется изучение макроязыка Tecplot. Основным преимуществом является то, что его способность к трехмерному построению значительно превосходит matplotlib и MATLAB. Можно пакетировать данные графика с использованием языка макросов / сценариев Tecplot и вызывать внешние сценарии Python (с некоторыми ограниченными функциями). Также, как и в MATLAB, есть графический интерфейс, к которому можно обратиться, если вы не хотите изучать скрипты Tecplot. (GUI Tecplot гораздо более полнофункциональный, чем MATLAB.) Основным преимуществом является то, что его способность к трехмерному построению значительно превосходит matplotlib и MATLAB. Можно пакетировать данные графика с использованием языка макросов / сценариев Tecplot и вызывать внешние сценарии Python (с некоторыми ограниченными функциями). Также, как и в MATLAB, есть графический интерфейс, к которому можно обратиться, если вы не хотите изучать скрипты Tecplot. (GUI Tecplot гораздо более полнофункциональный, чем MATLAB.) Основным преимуществом является то, что его способность к трехмерному построению значительно превосходит matplotlib и MATLAB. Можно пакетировать данные графика с использованием языка макросов / сценариев Tecplot и вызывать внешние сценарии Python (с некоторыми ограниченными функциями). Также, как и в MATLAB, есть графический интерфейс, к которому можно обратиться, если вы не хотите изучать скрипты Tecplot. (GUI Tecplot гораздо более полнофункциональный, чем MATLAB.)

Инструменты на основе LaTeX, такие как TikZ и PGFPlots, похоже, не созданы для вашего случая использования. Слабым местом здесь является манипулирование данными; TikZ и PGFPlots - отличные инструменты LaTeX. Хотел бы я знать, как их лучше использовать. Так как они LaTeX, я предполагаю, что рабочий процесс вырезает и вставляет необходимые данные в LaTeX и выводит их на график. Можно запускать программы внутри LaTeX, но я не вижу, как эта возможность обязательно поможет вам, учитывая, что для презентации или документа описываемый вами сценарий использования предполагает, что вы, вероятно, только сохраните готовый продукт. Может быть, вы в порядке с этим рабочим процессом; Оба инструмента имеют репутацию хорошо спроектированных и производящих высококачественные фигуры.

Наконец, Adobe Illustrator - прекрасный инструмент для подведения итогов, как вы сказали; Как вы сказали, недостатки также заключаются в отсутствии возможности написания сценариев или повторяемости, но ничто не сравнится с программой редактирования графики, если вы хотите сделать небольшие изменения.

Я думаю, что это отличный вопрос, который сейчас находится в центре моего внимания. При чтении большинства математических журналов Matlab кажется приемлемым, но он просто не соответствует ИМХО некоторым прекрасным графикам и диаграммам, которые появляются в таких журналах, как PNAS, Nature, PLoS ONE и т. Д.

После обсуждения именно этой проблемы в моей исследовательской группе в течение нескольких недель, мы все еще не пришли к реальному выводу, какой пакет лучше. Мы обнаружили, что большинство сравнений графического программного обеспечения в документации, блогах или других веб-источниках в основном бесполезно при определении того, какой пакет лучше всего подходит для данной цели.

Я думаю, что то, что действительно помогло бы среднему пользователю, который не является экспертом во всех / многих из этих пакетов, - это иметь небольшой набор очень четко определенных примеров, которые можно использовать в качестве «графического эталона» своего рода (в аналогичном смысл как CFD ориентиры ). Насколько я знаю, ничего подобного в настоящее время не существует.

Как минимум, я хотел бы видеть:

1. Достаточно простой двухмерный линейный график с несколькими типами линий и точек, легендой, математикой в ​​метках / заголовках и т. Д.
2. То же самое для трехмерного графика поверхности.
3. Более сложный трехмерный сюжет с изоповерхностями, режущими плоскостями и, возможно, некоторыми другими необычными функциями.
4. Причудливая трехмерная диаграмма.

Данные будут предоставлены для № 1-3, а фотография или «оригинальная» диаграмма для № 4. Для каждого примера будут опубликованы код (входные данные) и изображения (выходные данные). Это позволило бы читателю легче судить, какой пакет им подходит, как с точки зрения качества изображения, так и сложности кода.

Я планирую сделать что-то подобное в моей группе в ближайшие месяцы для # 1, 2, 4 и небольшого количества пакетов, включая Matlab, pgf / TikZ, python / scipy. Если есть интерес, я мог бы опубликовать это публично.

Таким образом , хотя это не является ответом на вопрос , первоначально размещен еще (и я извиняюсь за это) это может быть ответом через несколько месяцев.

$\LaTeX$

Другой пакет программного обеспечения для рассмотрения - Asymptote . Asymptote на самом деле является языком программирования (с синтаксисом, похожим на C ++), который производит вывод на основе вектора. Приятной особенностью является то, что текст отображается с помощью LaTeX (включая математические уравнения), поэтому текст на ваших рисунках соответствует вашему документу.

Я написал оболочку Python для Asymptote под названием PyAsy, чтобы я мог передавать массивы NumPy в движок Asymptote и выполнять некоторые базовые черчения. Это довольно грубый и не полный функционал, но это может быть полезно.

В любом случае, качество вывода Asymptote действительно хорошее.

Изменить: В дополнение к вышесказанному, я обнаружил, что Fabric очень полезна для запуска удаленных заданий, синхронизации каталогов и создания двоичных файлов, выборки данных запуска и / или запуска сценариев удаленного анализа. Это довольно легкая библиотека Python, которая делает запуск удаленных команд немного проще (и поддерживает скрипты).

Позвольте мне написать краткий обзор графической функциональности Mathematica, так как это то, с чем я знаком.

Что оно может делать?

Чтобы увидеть пример, посмотрите галерею кода Mathematica на сайте Wolfram. Речь не идет конкретно о визуализации, но почти все примеры включают в себя некоторые графики.

Вы также можете просматривать графические (базовые) и графические (более продвинутые) теги Mathematica.SE.

Вы можете создать свой пример изображения полностью автоматизированным способом (ручная постобработка не требуется).

Сильные стороны

• Вся графика указывается декларативным способом (например, SVG - вы не говорите системе рисовать что-либо, вы просто перечисляете объекты векторной графики). Графика - это тот же вид выражений Mathematica, что и все остальное в системе, они просто отображаются особым образом. Это означает, что графика может быть легко преобразована и обработана после того, как она была создана - это относится и к графике, созданной с помощью функций построения графиков.

• Быстрый и простой способ создания графики - использование высокоуровневых функций построения графиков и настройка множества параметров для настройки их вывода. Если нет функции для точного графика, который вам нужен, вы можете собрать графику из графических примитивов (что также довольно просто ).

• Функциональность построения математических функций превосходна. насколько я знаю, это лидерство в классе. Сэмплы Mathematica функционируют адаптивно (как в 2D, так и в 3D), поэтому плавный график может быть создан быстро и автоматически. Сингулярности, разрывы и т. Д. Определяются символически при построении функций.

• Вы можете создавать рисунки для определенного размера отпечатка и убедиться, что они хорошо вписываются в окружающий текст публикации (например, размер шрифта и соответствие стилей). В 2D есть два вида координат: координаты графика, соответствующие вашим данным, и абсолютные координаты, указанные в точках принтера. Первое масштабируется при изменении размера графики, последнее - нет. В тексте по умолчанию используются абсолютные координаты, что означает, что 8-точечный тип будет 8-точечным независимо от того, экспортируется ли одна и та же фигура размером 7 или 14 см. Это позволяет согласовать размеры шрифта с текстом в публикации.

• Встроенный набор текста для математических формул. MATEX пакет третьей стороной обеспечивает интеграцию LaTeX для превосходного качества формулы верстки. (Раскрытие: я автор.)

• Вы можете выполнять всю обработку данных в одной системе. Как правило, с небольшой работой можно полностью автоматизировать процесс создания фигуры (даже некоторые сложные аспекты ), избегая необходимости ручной постобработки в программном обеспечении, таком как Adobe Illustrator. Это важно, когда в последнюю минуту вы обнаружите небольшую проблему и вам нужно заново сгенерировать фигуру.

Слабые стороны

• Наличие фигур с несколькими вспомогательными участками и точное выравнивание между системами координат вспомогательных участков может быть затруднено.

  Пакет SciDraw (сторонний) исправляет это и дает подробный контроль над каждым аспектом фигуры. Компромисс этого пакета заключается в том, что для настройки цифр требуется больше усилий.

• 3D-графика плохо экспортируется в векторные форматы. Экспортировать растровую версию все же хорошо.

• Если ваша организация еще не имеет лицензии, она стоит денег.

Если вы уже знаете TikZ, вас могут заинтересовать R и tikzDevice ; Вот пример: tikzDevice - вывод TikZ из R , вот еще один пример: диаграммы TikZ с R: tikzDevice .

Копайте глубже в сюжетах PGF:

1) умеет делать трехмерные диаграммы: python-matplotlib не умеет их делать, gnuplot безобразен по сравнению

2) имеет согласованные шрифты по размеру и семейству с базовым документом)

3) может быть шаблон для конкретных цветовых схем

На рынке нет ничего подобного. :)

Я считаю Tecplot достаточно мощным средством визуализации и манипулирования данными.

Я постараюсь рассказать вам о своем ограниченном опыте, который охватывает только несколько типов графиков: 2D-графики данных, диаграммы рассеяния и диаграммы на основе графиков (деревья и графики, блок-схемы); но сначала позвольте мне немного отклониться от вопроса:

Во-первых, я хотел бы сказать, что важность производства высококачественных участков часто упускается из виду. Графики предназначены не только для отображения данных, но при эффективном использовании они могут передавать сложные идеи, которые часто не могут быть четко выражены в тексте. Мне кажется, что это не подходящее место для обсуждения того, что представляет собой, преимущества и недостатки хорошего сюжета, но если вы заинтересованы, посмотрите здесь .

Во-вторых, я чаще сожалел о том, что использую недоделанный сюжет, чем трачу время на сюжет высокого качества. Причина в том, что плохой сюжет может лгать вам, например, если вы используете недоделанный график для быстрого просмотра данных, которые вы могли неправильно нормализовать, или используете не очень хорошие графики для визуального сравнения (глаз часто может быть очень прощающим или вводящим в заблуждение). Поэтому я всегда рекомендовал бы готовить сюжеты так, как если бы они собирались показать человеку, который не знаком с результатами. Это может сэкономить ваше время и улучшить вашу работу. Кроме того, у вас есть дополнительное преимущество, что презентационный материал будет готов к следующей презентации / семинару / работе.

Теперь, чтобы ответить на вопрос ,

По моему опыту всегда лучше отделить обработку данных от фактического инструмента для построения графиков и инструментов для работы с изображениями. Для обработки данных я использую python, поскольку он очень гибкий, и я не нашел формат файла, который не может быть легко обработан через python. Кроме того, библиотеки numpy и scipy могут быть мощными инструментами манипулирования числовыми данными.

В Python я не видел графического инструмента, который дает вам контроль над всеми деталями форматирования. Я обнаружил, что именно детали имеют большое значение, когда вы пытаетесь интегрировать изображения при форматировании бумаги в латексе. Например, контроль пустого пространства и пропорций окружающих графиков может быть головной болью с помощью matplotlib (не невозможно, но не стоит моего времени), это очень важно, если у вас ограниченное пространство, как это часто бывает в журналах и на конференциях. документы.

По своему опыту я обнаружил, что GNUPLOT является лучшим инструментом для форматирования и создания 2D-графиков и диаграмм рассеяния. Это очень дает вам контроль над всеми деталями вашего сюжета. И вы можете создавать высококачественные сюжеты (векторные изображения) в черно-белом или цветном режиме. Высокий уровень контроля делает GNUPLOT немного сложнее в изучении, и иногда простые вещи могут потребовать немного работы, но если вы начнете с примера, это может упростить вещи. Я обычно смотрю на эти два сайта для вдохновения, вижу сайт не так часто задаваемых вопросов или официальные демонстрации здесь .

Иногда графики, создаваемые GNUPLOT, могут быть довольно большими (в диапазоне МБ), и журнал может отклонять файлы (это случилось со мной с некоторыми очень красочными диаграммами рассеяния). Я использовал и рекомендую Imagemagick , инструмент командной строки, который позволяет конвертировать, редактировать и сжимать изображения (я использовал его для генерации и редактирования высококачественных jpeg-файлов, одновременно значительно уменьшая размер файла). Я пробовал другие инструменты, которые использовали автоматическое сжатие данных, это оказалось особенно проблематичным из-за тонкого баланса между артефактами изображения и сжатием.

Я также подготовил значительную долю диаграмм (часто для презентаций). Я обнаружил, что если я собираюсь использовать диаграмму один раз (а не на бумаге), то приложение Keynote (OSX) и сохранение в pdf достаточно хороши. Однако, когда изображение используется много раз, качество презентации становится более важным, и TikZ - мой любимый инструмент. Я нахожу TikZ немного сложным в использовании, но если вы начнете с примера, это будет намного проще.

Наконец, я делаю большую часть своей работы из командной строки, чтобы интегрировать различные инструменты, которые я использую, с bash или python.

Мой быстрый голос за QtiPlot.

Хотя он не идеален, он обеспечивает лучшую комбинацию легкости графического интерфейса пользователя, наряду со сценариями Python, поэтому на самом деле вы делаете «Qtiplot / Python / (Illustrator или Inkscape)». Qtiplot является расширяемым, поэтому вы можете создавать свои собственные скрипты / макросы, которые могут запускать команды python для открытия и обработки данных, а затем помещать их в таблицу. Затем вы можете вручную или автоматически построить их. Также можно настроить его для работы с набором текста LaTeX с помощью набора текста, доступного в Интернете, или локального набора текста, чтобы вы могли помещать математические формулы в заголовки / оси / разметки сюжета.

Затем графики могут быть экспортированы в любой формат, который вы хотите, но формат, который работает лучше всего, несомненно, SVG. SVG-файлы могут быть исправлены в Inkscape, если вы хотите, который также имеет возможности набора текста LaTeX.

Хотя MatPlotLib великолепен, его самым большим недостатком является необходимость писать абсолютно все вручную (как любое решение для построения сценариев). QtiPlot великолепен, потому что вы можете создавать сценарии / автоматизировать обработку и черчение данных с отличной функциональностью Python, а затем передавать черновой график графическому интерфейсу, который позволит вам настраивать его вручную и выполнять все виды вырезания / вставки / манипуляции графическим интерфейсом. это намного быстрее в каждом конкретном случае для анализа данных. Вы также можете точно установить размеры с помощью сценариев, а также манипулировать измерениями с помощью графического интерфейса, чего вы не можете сделать с помощью matplotlib.

Я полагаю, это зависит от того, как вы относитесь к решениям для построения графиков QtiPlot. Я нашел, что это очень способно, но все это довольно крутая кривая обучения.

Я удивлен, что никто еще не упомянул о превосходных инструментах Нико Шлёмера matlab2tikz и matplotlib2tikz . Если вы используете LaTeX для подготовки документов, а Matlab или Python - для обработки данных, вы можете легко получить высококачественные векторные графики, которые вы можете опубликовать для обработки:

1. Подготовьте свои графики в Matlab или Python, включая оси, метки, легенды и т. Д. Не беспокойтесь о форматировании TeX.
2. Позвонить matlab2tikz('figure.tex')(или matplotlib2tikz).
3. Отредактируйте figure.texпо вкусу (замените текст метки правильной математикой, измените цвета, ширину линии, расположение легенды, стиль оси и т. Д.), См. Руководство по pgfplots (или множество вопросов по pgfplots в TeX stackexchange).
4. На вашей фигуре вместо того includegraphics, чтобы поставить \input{figure.tex}(и не забудьте включить \usepackage{pgfplots}в преамбулу).
5. Для отправки используйте библиотеку внешних данных (см. Главу 7 руководства), чтобы превратить вашу фигуру в pdf и просто заменить \input{figure.tex}на \includegraphics{figure.pdf}.

Если вы не ищете сценарии, взгляните на MagicPlot. Он не так богат, как Origin (например, может создавать только 2D-графики), но у меня никогда не было проблем с шириной линии и другими свойствами. Сюжеты хорошие сглаженные, хотя перерисовка достаточно быстрая. Плюс полезная примерка.

Tecplot 360 хорош для обработки больших данных и создания графиков качества публикации. Он имеет мощные интерфейсы надстроек и сценариев для обработки данных. Мне кажется, что он делает все, что вам нужно для постобработки.

Распространенной ошибкой является использование Excel. Нет, он не помнит макет, диапазон X, цветную карту. Это не одушевляет. Он использует уродливые громоздкие таблицы для работы с данными.

Конечно, вы не найдете инструмент, который выполняет как постобработку, так и редактирование текста, и выбор подходящего текстового редактора для ваших публикаций - еще один важный вопрос. Не используйте MS Word, его менеджер цитат уродлив. Я использую LyX или любой другой инструмент Latex, доступный для используемой операционной системы.

Да, и когда вам нужно опубликовать PDF, включите ссылку на LaTeX, Word или любой другой формат с удобочитаемой математикой. В PDF это не так.