Как вы создаете большие, растущие, совместно используемые файловые системы в Linux на AWS?

Каковы приемлемые / разумные / лучшие способы предоставления в AWS большого, расширяемого общего хранилища, представленного в виде единой файловой системы?

В настоящее время мы создаем тома объемом 1 ТБ EBS - раз в две недели и экспортируем NFS с помощью no_subtree_check и nohide. В этой настройке отдельные экспорты отображаются под одним монтированием на клиенте. Такое расположение плохо масштабируется.

Варианты, которые мы рассмотрели:

LVM2 с доп. resize2fs слишком медленный.
Btrfs в Linux. явно не готов к прайм-тайм.
ZFS на Linux. пока еще не готова к прайм-тайму (хотя LLNL использует его)
ZFS на солярисе. Будущее этой комбинации неясно (для меня), и новая ОС в миксе
GlusterFS. слышал в основном хорошие, но две страшные (а может и старые?) истории.

Идеальное решение обеспечит совместное использование, единое представление fs, простоту расширения, моментальные снимки и репликацию.

Спасибо за обмен идеями и опытом.

— Reece
источник

Вы запустили цифры на этом? Это кажется мне чрезмерно дорогим ...

— Майкл Хэмптон

Хороший вопрос. Ответ Сорта, но мы рано. Наша потребность в данных высока, а вычислительная потребность - взрывоопасна. Таким образом, неясно, что стоит дороже: AWS с дорогим хранилищем и более дешевым решением для пиковых вычислений, или локальный с дорогими вычислениями и более дешевым хранилищем. (Я даже не уверен, что стоимость полностью загруженного хранилища действительно дешевле.) Мы бы, вероятно, сохранили архивные данные в Glacier, чтобы снизить стоимость (ограничения случаются для нас).

— Рис

Не забывайте расходы на пропускную способность.

— Майкл Хэмптон

Что касается ZFS, то это либо Solaris, либо FreeBSD, но, как вы сказали, будущее у Solaris несколько неопределенное, и ZFS с открытым исходным кодом застряла в версии 28 (независимо от операционной системы).

— Оуки

Как насчет XFS (поверх LVM)? Он более зрелый, чем ext4, и есть возможность делать инкрементные дампы файловой системы. Возможно, вы захотите проверить ее статью в Википедии и сравнительные тесты, на которые ссылается ext4.

— peterph
источник

Спасибо, Петр. Я рассмотрел (и забыл) комбинацию LVM + XFS. У меня есть некоторые сомнения по поводу LVM2 и XFS, в основном из-за неопределенности и новой сложности для нас. Я не ожидаю получить что-то бесплатно (например, расширяемое хранилище без усилий), но я хотел бы минимизировать усилия и риск для нас. Например, каково значение потери одного тома EBS, который является частью массива RAID1? Это может быть не проблема, но на данный момент такие вопросы создают неопределенность для меня. В эпоху ZFS и btrfs я надеялся обойти такую сложность.

— Рис

@Reece Вопрос в том, доверяете ли вы устройству отображения устройств - iirc, большинство LVM на самом деле представляют собой инструменты пользовательского пространства, поддерживаемые dm. Вам нужно ядро не слишком анцинетное (2.6.33+ - см. Вики ).

— Петер