ZFS и SAN - лучшие практики?

Большинство обсуждений ZFS предполагают, что аппаратный RAID должен быть отключен и что ZFS должна напрямую общаться с дисками и управлять RAID на хосте (вместо контроллера RAID).

Это имеет смысл на компьютере с 2-16 или более локальными дисками, но как насчет среды с большим SAN?

Например, предприятие, на котором я работаю, имеет то, что я бы назвал SAN небольшого размера с двумя полными стойками дисков, что-то вроде 400 шпинделей. Я видел полки SAN, которые намного плотнее, чем у нас, а развертывания SAN намного больше, чем у нас.

Люди выставляют 100 дисков напрямую на большие ZFS серверы? 300 дисков? 3000 дисков? Средства управления SAN облегчают автоматизированное управление такого рода вещами?

У меня есть опыт работы с 92 дисками в одном пуле ZFS, и пока он работает нормально.

Но если вы на самом деле говорите о нескольких сотнях дисков, я хотел бы разбить их на небольшое количество разрозненных (но все еще больших) пулов. Я не хочу знать, как долго, например, zpool scrubработает на пуле 3000 дисков (но вы хотите регулярно чистить). Также вывод команд like zpool statusбыл бы громоздким при таком большом количестве дисков. Так зачем класть все яйца в одну корзину?

(Примечание по дедупликации : обратите внимание, что, хотя дедупликацией можно управлять на уровне набора данных, она найдет дубликаты на уровне пула. Т.е., вы, вероятно, получите худшие результаты дедупликации, если будете разбивать, как было предложено. С другой стороны, вы будете требуется гораздо больше памяти для хранения хэшей дедупликации одного гигантского пула, который может не вписаться в ARC + L2ARC, если пул слишком большой. Поэтому, если вы используете дедупликацию, объем доступной памяти, вероятно, является хорошим индикатором для максимального практического размера пула .)

Мы позволяем нашим SAN управлять RAID. Зачем тратить деньги на все эти NVRAM с резервным питанием от батареи и на эти выделенные процессоры, а затем переложить работу на сервер, чьи процессоры я хочу делать, кроме контрольных сумм RAID?

Вот веб-сайт, на котором вы можете посмотреть размер и конфигурацию пула (-ов) на предмет вероятности потери данных.
https://blogs.oracle.com/relling/entry/zfs_copies_and_data_protection

Это старый вопрос, но он актуален сегодня, как это было 7 лет назад!

Чтобы ответить на первую часть вопроса, я не знаю, что мы назвали бы «SAN», который когда-либо выставлял бы необработанные диски серверу, который мог бы запустить ZFS. SAN по определению представляет только блочное хранилище (LUN) или, возможно, что-то вроде Filer / FS представляет NFS или CIFS. Существуют некоторые «SAN», которые на самом деле запускают ZFS изнутри, но это в значительной степени абстрагировано - диски никогда не выставляются серверу, вместо этого компонент «Filer» в SAN представляет блочные или сетевые файловые системы серверам.

Устройство, которое представляет необработанные диски (по SAS или менее вероятно по FC) - это DAS. Для запуска ZFS, как правило, вы говорите RAID-контроллеру представить диски как JBOD.

Однако следует ли использовать ZFS на LUN, представленном SAN? Возможно: ZFS против EXT4, предоставляет несколько дополнительных функций, таких как скрабы, которые проверяют контрольные суммы или для запуска снимков. Скраб, вероятно, не может автоматически лечиться так же, как и при работе с дисковым RAID, но он все равно может предупредить вас о повреждении, помогая предотвратить появление битрота. Снимки, которые вы можете создать, например, на файловом сервере SAMBA в Linux, значительно превосходят возможности, которые вы можете делать с EXT, они даже могут отображаться в Windows как «Предыдущие версии».

Если вы не предоставляете избыточные данные ZFS для работы (например, зеркала, RAID-Z), вы теряете многие преимущества его использования. Количество задействованных дисков не изменит этот факт. Однако, действительно ли это имеет значение, зависит от вашей среды. Вы должны определить, какие функции хранилища вам нужны (потенциально трудоемкий анализ), а затем отправиться на поиски наименее дорогого решения (которое вы можете себе позволить), отвечающего вашим потребностям. Это может означать использование ZFS везде вместе со специализированными устройствами хранения данных Oracle (некоторые люди делают это, и многие диски без проблем работают с ZFS, и используют инструменты Oracle для управления), это может означать использование только корпоративных продуктов SAN или использование некоторый гибрид (в этом случае вам, вероятно, придется самостоятельно разрабатывать некоторые инструменты и процессы для управления средой). Дон»