Конфигурация RAID для большого NAS

Я подумываю о создании дискового хранилища на 24 ТБ, но я не уверен, какая конфигурация диска лучше всего подходит. Я смотрю на использование контроллера areca ARC-1280ML-2G и подвешиваю все 24 диска к нему.

Я бы хотел, чтобы все это было смонтировано как один том из-за типа данных, которые мы храним на нем. Одна из сумасшедших идей заключалась в том, чтобы настроить 6 томов RAID 5 с 4 дисками, а затем создать программный RAID 5 для этих 6 томов. Это означает, что любой том может умереть от нас, и мы все равно не потеряем данные.

Должен отметить, что это проект НИОКР, у нас есть готовящееся приложение, где нам понадобятся десятки терабайт хранилища, чтобы быть быстрым и высокодоступным. Но для начальной фазы исследований и разработок мы можем принять некоторый риск.

Каково лучшее решение для этого типа конфигурации? С 24 дисками объемом 1 ТБ, вероятно, что более одного из них выйдут из строя одновременно (или в течение времени, необходимого для восстановления тома после первого сбоя), поэтому у меня возникли проблемы с поиском хорошего решения.

Уже есть уровень RAID для того, что вы хотите; это называется RAID 10.

MTBF для накопителей профессионального и потребительского уровня за последние годы увеличился на порядок, число неисправимых ошибок остается относительно постоянным. Эта скорость оценивается в 10 ^ 14 бит, так что один источник на 12 терабайт считывается, для потребительских дисков SATA, источника .

Таким образом, статистически вы будете сталкиваться как минимум с двумя однобитовыми ошибками при каждом сканировании ваших проходов на жестком диске объемом 24 ТБ. Каждая из этих ошибок вызовет перестройку RAID5, и, что еще хуже, при перестройке вторая ошибка приведет к двойной ошибке.

Это именно моя ежедневная работа ... создание серверов хранения Linux.

• Карта Ареки в порядке. Вы можете использовать его в RAID-6, это обеспечит разумную безопасность. Купите дополнительный блок резервного аккумулятора , тоже.
• Используйте диски корпоративного уровня , а не настольные. На вашем сервере вы потратите еще 400 долларов, но это того стоит. Купите два запасных диска. Не связывайтесь с этим, используйте диски той же модели.
• Для файловой системы используйте XFS . Не шучу, ext3 и друзья просто не справятся с работой с файловыми системами 16 ТБ +. Даже в случае серьезного сбоя xfs_repair будет работать довольно быстро на томе объемом 20 ТБ (15 минут, не более).
• Предпочтительно использовать LVM2 , это облегчит управление хранилищем, даже если вы не планируете его сильно изменять.
• установите инструмент управления арекой и напишите работу cron, чтобы отправлять вам ежедневные электронные письма с проверкой работоспособности.
• Не забудьте резервную копию . RAID не является резервной копией; если кто-то просто удалит важный файл, вы не сможете восстановить его без надлежащей резервной копии. Я лично использую rdiff-backup для сохранения всех важных данных на выделенном сервере с историей за один месяц; Вы также можете создать два тома RAID на своем файловом сервере и создать резервную копию одного на другом.

вау, RAID5 поверх RAID5? Хотите обсудить проблемы с производительностью? У тебя будут тонны . На хосте, на котором вы их повесите, будет вычислена четность котят, которая записывает эту четность на 3 диска, а затем вычисляет четность ТА и записывает ее на 4-й диск этого набора. ВОТ ЭТО ДА!

Давайте поговорим о RAID10. По сути, это RAID 1, но вы делите свои диски пополам и отражаете это. Отказоустойчивость в том, что вы можете потерять 2 диска и при этом быть в порядке, плюс производительность отличная.

Если вам не нужно безумное количество места, но у вас есть массив размером 24 ТБ, который не может быть лучше, но он абсолютно положительно работает, тогда вы можете рассмотреть RAID60. По сути, это RAID6 с использованием зеркальных наборов дисков. Вы потеряете примерно половину своих дисков, и производительность будет плохой, но вы будете почти гарантированы, что данные будут там.

Действительно, я бы пошел с RAID10. Работает хорошо и работает отлично. Я придерживаюсь мнения Эвана о том, что вам, вероятно, не следует делать гигантские наборы RAID из такого количества дисков, потому что, как он говорит, такие вещи, как fsck и chkdsk, будут работать вечно, и, что более важно, на мой взгляд, потому что статистическая вероятность ошибки чтения увеличивается как индивидуальный размер диска. Я бы порекомендовал 7-10 дисков на комплект. Вы можете создать 3 тома очень приличного размера с таким количеством шпинделей.

Независимо от того, что вы выберете, не забудьте оставить пару дисков в «горячих» резервах, чтобы вы могли сразу же начать восстановление, а не ждать, пока массив заменит их. Как только диск умирает, часы начинают тикать, чтобы ушел другой.

Почему не RAID 1 + 0? Это все обрабатывается на уровне контроллера ...

Я знаю, что вы сказали «R & D», но вы также сказали «очень доступно». Я бы поставил под сомнение «экономию» решения «сделай сам» по сравнению с приобретением готового оборудования SAN для этого. Когда что-то пойдет не так с вашим решением «сделай сам», вы окажетесь в незавидном положении, когда некому будет обратиться за помощью. Сколько стоит час простоя? Вы можете довольно быстро поглотить стоимость некоторых устройств SAN среднего уровня за счет простоя, игнорируя затраты, связанные с прямой потерей данных.

Независимо от того, что вы делаете с базовым диском, я бы не стал создавать такую ​​большую файловую систему.

Повреждение файловой системы является реальной возможностью (проблема контроллера RAID, ошибки ОС и т. Д.). В таком большом объеме проверка файловой системы будет выполняться вечно. Я настоятельно рекомендую использовать несколько томов, которые могут быть логически объединены, чтобы отображаться как один файловый элемент (с помощью различных средств - вы не упомянули ОС, поэтому я не могу дать вам конкретные идеи). Если у вас повреждена какая-то файловая система, вы потеряете часть логического тома, но все равно будете «вверх».

Например: в мире Windows запуск CHKDSK на NTFS-томе объемом 20 ТБ, заполненном файлами, будет МЕДЛЕННЫМ . В такой среде я бы создал несколько небольших томов NTFS и логически объединил бы их в одно пространство имен с DFS.

wazoox, ответы хорошие. У меня нет представителя, чтобы дать ему больше плюсов, но я бы добавил следующее.

RAID 6 или, по крайней мере, 2 диска с четной четностью на 10 дисков, максимум 16, то есть, если вы сможете потратить примерно один день, когда производительность будет снижена при восстановлении рейда. Если вы не можете жить с деградацией, то это должны быть зеркальные полосы.

Если вы идете по маршруту Linux, я бы либо использовал аппаратную рейд-карту (с резервным аккумулятором), либо установил бы рейд-контроллер в корпусе диска. Я согласен с тем, что xfs является предпочтительной файловой системой в Linux, однако следует помнить, что файловые системы объемом около 50 ТБ на xfs занимают более 16 ГБ ОЗУ, если вам нужно запустить xfs_check.

Я бы серьезно подумал о хороших сетевых накопителях, таких как NetApp, так как они намного меньше работают в долгосрочной перспективе, это зависит от того, сколько времени администраторы хранилища стоят для компании.

Заставить nfs / samba работать хорошо - это немного темное искусство. Собираетесь ли вы использовать эфир 10 ГБ или просто агрегирование 1 ГБ / сек? (Не берите карты Broadcomm, особенно 10GB).

LVM2 - легкая задача, но не используйте мгновенный выстрел, поскольку это не быстро.

Помните, что резервное копирование этого займет некоторое время.

Проверьте, как система может выйти из строя, прежде чем она начнет работать, и напишите ее, где вы и ваши коллеги сможете найти документы, когда все пойдет не так.

Это зависит от вашего отношения чтения / записи. Мы используем много внешних дисковых SAS-дисков HP MSA70 на 25 дисков и всегда создаем их в виде одного массива RAID6, поскольку наше отношение чтения к записи составляет 99%: 1%, поэтому нам не важно, что R6 является самой медленной при записи ( все еще довольно быстро, просто не так хорошо по сравнению с другими). Таким образом, мы имеем 23 диска данных, доступных нам, очень хорошие, как в ОЧЕНЬ хорошем, случайном чтении и общей пропускной способности чтения, и могут пережить два отказа диска.

Как пример, массив RAID5 не должен содержать более 14 дисков в одном массиве, в то время как RAID6 должен работать с 54 дисками или около того - очевидно, чем больше массив, тем больше пропасть между производительностью чтения и записи и потребуется медленное восстановление, но это МОЖЕТ быть хорошим компромиссом.

Для начала я бы добавил два резервных диска.

RAID 5 или 6 подходит для случайного чтения или больших последовательных операций чтения и записи. Если вы собираетесь получать много мелких записей, используйте RAID 10, так как RAID 5+ наносит 4-кратный удар по небольшим операциям записи.

Если вы собираетесь включить кэш записи, не забудьте подкрепить его батареей.