На любом из уровней RAID, которые используют чередование, увеличение количества физических дисков обычно повышает производительность, но также увеличивает вероятность сбоя любого одного диска в наборе. У меня есть идея, что я не должен использовать более 6-8 дисков в данном наборе RAID, но это больше просто знания, а не факт из опыта. Кто-нибудь может дать мне хорошие правила с причинами для максимального количества дисков в комплекте?
Ответы:
Рекомендуемое максимальное количество дисков в системе RAID сильно варьируется. Это зависит от множества вещей:
Для RAID на основе SATA вам не нужно иметь более 6,5 ТБ свободного диска, если вы используете RAID5. Пройдите дальше, чем RAID6, и это гораздо лучшая идея. Это связано с невосстановимой частотой ошибок чтения. Если размер массива слишком велик, шансы невосстановимой ошибки чтения, возникающей при перестройке массива после потери, становятся все выше и выше. Если это произойдет, это очень плохо. Наличие RAID6 значительно уменьшает это воздействие. Однако качество дисков SATA в последнее время улучшается, поэтому это может продолжаться недолго.
Количество шпинделей в массиве меня не особо беспокоит, так как довольно просто добраться до 6,5 ТБ с 500 ГБ дисками на U320. Если это сделать, было бы неплохо разместить половину дисков на одном канале, а половину на другом, чтобы уменьшить конфликты ввода-вывода на стороне шины. Скорости SATA-2 таковы, что даже только два диска, передающие с максимальной скоростью, могут насытить шину / канал.
Диски SAS имеют более низкую скорость MTBF, чем SATA (опять же, это начинает меняться), поэтому правила там менее строгие.
Существуют массивы FC, которые используют диски SATA для внутреннего использования. RAID-контроллеры там очень сложные, что запутывает эмпирические правила. Например, линейка массивов HP EVA группирует диски в «дисковые группы», на которых расположены LUN. Контроллеры целенаправленно размещают блоки для LUN в непоследовательных местах и выполняют выравнивание нагрузки на блоках за кулисами, чтобы минимизировать горячие точки. Это долгий способ сказать, что они делают для вас большую работу в отношении многоканального ввода-вывода, шпинделей, участвующих в LUN, и работы с избыточностью.
Подводя итог, частота отказов дисков не определяет правила относительно количества шпинделей в группе RAID, а производительность влияет. По большей части.
Если вы ищете производительность, важно понимать соединение, которое вы используете для подключения дисков к массиву. Для SATA или IDE вы будете смотреть на 1 или 2 на канал, соответственно (при условии, что вы используете контроллер с независимыми каналами). Для SCSI это сильно зависит от топологии шины. В раннем SCSI было ограничение на число устройств в 7 идентификаторов устройств на цепочку (то есть на контроллер), одним из которых должен был быть сам контроллер, поэтому у вас было бы 6 устройств на цепочку SCSI. Новые технологии SCSI позволяют почти удвоить это число, так что вы будете смотреть на 12+. Ключевым моментом здесь является то, что суммарная пропускная способность всех дисков не может превышать емкость межсоединения , в противном случае ваши диски будут работать на холостом ходу, когда они работают с максимальной производительностью.
Имейте в виду, что диски здесь не единственное слабое звено; каждое соединение без резервирования приводит к одной точке отказа. Если вы мне не верите, настройте массив RAID 5 на одноцепочечном контроллере SCSI, затем закоротите контроллер. Вы все еще можете получить доступ к своим данным? Да, я так и думал.
Сегодня все немного изменилось. Диски не сильно улучшились с точки зрения производительности, но наблюдаемое улучшение является достаточно значительным, поэтому производительность, как правило, не является проблемой, если вы не работаете с «фермой накопителей», и в этом случае вы говорите о совершенно другой инфраструктуре.и этот ответ / разговор является спорным. Вероятно, вас больше беспокоит избыточность данных. RAID 5 был хорош в расцвете из-за нескольких факторов, но эти факторы изменились. Я думаю, вы обнаружите, что RAID 10 может вам понравиться, так как он обеспечит дополнительную избыточность от сбоев дисков при одновременном повышении производительности чтения. Производительность записи немного снизится, но это может быть уменьшено за счет увеличения активных каналов. Я бы взял установку RAID 10 с 4 накопителями вместо установки RAID 5 с 5 накопителями в любой день, потому что установка RAID 10 может выдержать (конкретный случай) сбой двух дисков, тогда как массив RAID 5 просто перевернется и умрет с отказом двух дисков. Помимо обеспечения немного лучшей избыточности, вы также можете смягчить «контроллер как единую точку отказа». ситуацию, разделив зеркало на две равные части, причем каждый контроллер обрабатывает только полосу. В случае отказа контроллера ваша полоса не будет потеряна, только эффект зеркала.
Конечно, это может быть совершенно неправильно для ваших обстоятельств. Вам нужно будет посмотреть на компромиссы между скоростью, емкостью и избыточностью. Как и в старой инженерной шутке «лучше-дешевле-быстрее, выбирайте любые два», вы обнаружите, что можете жить с конфигурацией, которая вам подходит, даже если она не оптимальна.
RAID 5 я бы сказал, 0 дисков на массив. Смотрите http://baarf.com/ или аналогичные ранты по любому количеству других источников.
RAID 6 Я бы сказал, 5 дисков + 1 для каждого горячего резерва на массив. Меньше, и вы могли бы также сделать RAID 10, больше, и вы увеличиваете фактор риска и должны перейти к RAID 10.
RAID 10 идет так высоко, как вам нравится.
Я использую 7 как «магическое» максимальное число. Для меня это хороший компромисс между потерянным пространством для избыточности (в данном случае ~ 14%) и временем для восстановления (даже если LUN доступен во время восстановления) или увеличения размера и MTBF.
Очевидно, что это отлично сработало для меня при работе с 14-дисковыми корпусами SAN. У двух наших клиентов были корпуса с 10 дисками, а магическое число 7 было уменьшено до 5.
В общем, 5-7 работал на меня. Извините, никаких научных данных от меня тоже нет, просто опыт работы с RAID-системами с 2001 года.
Эффективный максимум - пропускная способность контроллера RAID.
Допустим, чтение диска максимально на 70 МБ / с. При пиковой нагрузке вы не можете пролистать данные достаточно быстро. Для занятого файлового сервера (RAID 5) или db-сервера (RAID 10) вы можете поразить это быстро.
SATA-2 имеет спецификацию интерфейса 300 МБ / с, SCSI Ultra 320 будет более последовательным. Вы говорите 6-10 дисков, потому что вы не будете слишком часто бить в пики.
Предел дисков в RAID раньше определялся количеством устройств на шине SCSI. К одной шине может быть подключено до 8 или 16 устройств, а контроллер считается одним устройством - так было 7 или 15 дисков.
Следовательно, многие RAID-массивы представляли собой 7 дисков (один был горячим резервом), что означало, что осталось 6 дисков - или 14 дисков с одним горячим резервом.
Таким образом, самая большая вещь о дисках в группе RAID - это, вероятно, сколько IOPS вам нужно.
Например, диск SCSI со скоростью вращения 10 000 об / мин может работать около 200 IOPS - если у вас было 7 из них в RAID 5 - вы потеряете 1 диск для контроля четности, но тогда у вас будет 6 дисков для чтения / записи и теоретический максимум 1200 IOPS - если вы нужно больше IOPS - добавить больше дисков (200 IOPS на диск).
А более быстрые диски SAS со скоростью 15k RPM могут достигать 250 IOPS и т. Д.
Кроме того, всегда есть SSD (30 000 операций ввода-вывода в секунду на диски), и они доступны для проверки (хотя и очень дорогие).
И я думаю, что SAS имеет сумасшедшее максимальное значение для количества устройств - например, 16 000 дисков
С RAID6 и SATA у меня был хороший успех с 11 дисками ... И одним «горячим» резервом (для некоторых плохих контроллеров потребуется два «горячих» резерва для восстановления RAID6). Это удобно, поскольку многие JBOD входят в группы по 12 дисков, например, HP MSA60.
Пока вы не достигнете максимальной скорости шины в более узкой точке цепи (рейд-карта, ссылки), это может иметь смысл. То же самое, когда вы добавляете много сетевых адаптеров 1GbE на вашу шину PCI, не имеет никакого смысла.