Оптимизирован ZFS в среде с низким объемом оперативной памяти?

В настоящее время я настраиваю файловый сервер и приступил к настройке дисков с данными. Система имеет 4 диска (один диск с ОС, 3 диска с данными). Диск ОС отформатирован как ext4 и не будет добавлен в пул ZFS (если я выберу запуск ZFS). Моя главная проблема - целостность данных и минимальный риск потери данных (кэширование диска отключено в BIOS). Для этого ZFS кажется идеальным кандидатом, поскольку он имеет стабильную версию для Linux (верно?) И поддерживает дублирование данных, пул и raidz, где жесткие диски не обязательно должны быть одинакового размера.

Но вот моя проблема. Сервер имеет только 2 ГБ оперативной памяти, и это не может быть обновлено в ближайшем будущем, и реально только 1,5 будет фактически доступно для ZFS после того, как я установлю все другие службы. Максимум около 10 клиентов будут использовать его одновременно (более 4 в среднем). Это слишком низко, чтобы считаться безопасным?

Из того, что я понимаю, ZFS может аварийно завершить работу в ситуациях с нехваткой ОЗУ и взять с собой пул. Я слышал противоречивые мнения о том, поможет ли раздел подкачки решить эту проблему (у меня есть выделенный диск подкачки объемом 20 ГБ). Кто-нибудь испытывал потерю данных в ZFS с небольшим объемом оперативной памяти и какие оптимизации вы предприняли, чтобы предотвратить это?

Учитывая вышесказанное, можно ли будет по-прежнему запускать ZFS, хотя уменьшить размер ack и немного его урезать, или это будет слишком рискованно?

Системные спецификации: 2 ГБ ОЗУ, 20 ГБ, подкачка ОС, Debian 7, минимальная установка, с FTP, и XBMC, DNLA (чтобы понять требования к ОЗУ). Используется для сервера хранения и потоковой передачи музыки на другие устройства.

linux memory zfs

— Томас Э
источник

Я не гуру ZFS, но я знаю немного о файловых системах в целом, и я знаю одно место, на которое вам придется обратить внимание - большое время - для потребления памяти является дедупликация данных. Вы не указываете, насколько велики ваши диски, и сколько данных будет на них; это огромно, поскольку ZFS должна хранить таблицу поиска в памяти. Я не могу говорить о других проблемах, но я бы определенно убил дедупликацию. Кроме того, btrfs достаточно зрел для резервных копий данных; вы рассматривали это? Проверьте arstechnica.com/civis/viewtopic.php?f=16&t=1226135 для некоторых идей (с которыми некоторые, без сомнения, не согласятся).

— Равенпи

О да, я пропустил это. Пул будет 3.35 ТБ (как диски, так и данные, поскольку он будет ежедневно выполнять резервное копирование 9 клиентов, поэтому я думаю, что он будет заполняться быстро, я полагаю, что это означает отсутствие дублирования, так как freebsd предлагает 5 ГБ оперативной памяти для каждого пространства ТБ). Спасибо, что указали на btrfs, я не знал, что теперь он стабилен, я думаю, я хорошо его

— Томас Э

«Стабильный» - это то, что я не спешу называть; кто-то не решается назвать ЛЮБОЙ, даже своего рода, новую файловую систему «стабильной». Но это там. LWN (Linux Weekly News) только что сделал серию об этом; это хорошо - проверьте это здесь: lwn.net/Articles/576276

— ravenpi

Ответы:

Вы определяете целостность данных и минимальный риск потери данных в качестве основных проблем. Запуск ZFS только с 2 ГБ памяти опасен и не рекомендуется. Слишком мало ОЗУ снижает производительность и является причиной многочисленных несмонтируемых пулов в прошлом. Проект FreeNAS заявляет 8 ГБ ОЗУ как минимум.

Кроме того, поскольку ваша проблема заключается в потере данных, вы захотите использовать ECC RAM. Поскольку ваш компьютер может поддерживать только 2 ГБ ОЗУ, я предполагаю, что это действительно старый компьютер, который не будет хорошим выбором для ZFS.

Чтобы ответить на ваши вопросы:

[…] И поддерживает дублирование данных

На практике забудьте о дедупликации, когда у вас нет как минимум 32 ГБ, как правило. Вам может потребоваться значительно больше оперативной памяти, в зависимости от размера пула. Во-вторых, посчитайте, если затраты на дедупликацию и оперативную память дешевле, чем на несколько дополнительных дисков. Чаще всего больше дисков - более дешевая альтернатива.

Это слишком низко, чтобы считаться безопасным?

Да, это слишком низко.

Из того, что я понимаю, ZFS может аварийно завершить работу в ситуациях с нехваткой ОЗУ и взять с собой пул.

Это правда, и многие люди потеряли свои пулы из-за нехватки оперативной памяти.

Я слышал противоречивые мнения, поможет ли своп в смягчении этой проблемы

Забудьте о свопе, ваш ящик ZFS никогда не должен использовать своп.

РЕДАКТИРОВАТЬ: Если вы чувствуете себя предприимчивым и не боитесь риска случайной паники или потери данных, прочитайте руководство по настройке ZFS и измените указанные настройки. Вот пример настройки для системы объемом 768 МБ памяти.

vm.kmem_size="330M"
vm.kmem_size_max="330M"
vfs.zfs.arc_max="40M"
vfs.zfs.vdev.cache.size="5M"

В противном случае инвестируйте сотни долларов в полосу памяти и наслаждайтесь стабильной и производительной системой.

— Marco
источник

Понимаю. Просто для уточнения, да, у меня есть ecc ram, а машина - это микро-сервер hp proliant gen7, который поддерживает до 8/16 ГБ оперативной памяти, но в настоящее время финансово нецелесообразно приобретать больше оперативной памяти. Я знал, что freenas рекомендовал 8 ГБ, однако в документации freebsd и Solaris предлагается минимум 1 ГБ, что и является причиной вопроса. Думаю, в свете этого мне следует придерживаться ext4 и зеркалировать вручную с помощью rsync и dd для автономных дисков, вероятно, самое безопасное решение.

— Томас Э,

Можете ли вы объяснить, почему ZFS не должна использовать SWAP?

— CMCDragonkai

Нет причин, по которым использование ZFS без ECC более опасно, чем запуск того же оборудования с другой файловой системой.

— Алисия

Почему сообщество ZFS всегда комментирует с таким высокомерным снобизмом? Не каждый, кто хочет получить надежные данные за 100 долларов, просто бездельничает, чтобы удовлетворить некоторые совершенно нелепые требования к дизайну! У меня, например, есть небольшой домашний сервер ARM с 1 ГБ оперативной памяти и жесткие диски USB. Я хочу, чтобы данные на нем были защищены от гниения, так как они были обнаружены и исправлены, а также имели моментальные снимки для целей резервного копирования. Там нет необходимости в скорости. И btrfs просто сломан по дизайну. Таким образом, ZFS была бы разумной, если бы какой-то идиот не разработал ее так, чтобы она могла взорваться от депрессии, когда она имеет <128 эксабайт ОЗУ.

— Evi1M4chine

В системах с высоким давлением памяти (linux) действительно необходимо обновить память. Есть еще ошибка ( ссылка ), когда подкачка блокирует IO (зависание ядра), что делает его непригодным для использования до перезагрузки. Я считаю, что vm.swappiness = X не влияет на zfs, поэтому ограничение дуги до определенного числа может немного помочь.

— satch_boogie
источник