Большой Linux программный RAID с использованием USB-дисков?

Некоторое время назад мой друг, который является режиссером, спросил, есть ли у меня какие-либо идеи о том, как сделать довольно большое хранилище без огромных первоначальных затрат. Производительность не является большой проблемой, но разумная избыточность есть.

Поэтому я начал задумываться об использовании программного обеспечения Linux raid для создания RAID 60 2,5-дюймовых дисков через USB3. Концентраторы USB3 дешевы, контроллеры USB3 SATA дешевы, а 2,5-дюймовые SATA-диски дешевы.

Есть ли какая-то причина, по которой я не смог добавить сто USB-дисков, возможно, группами по пять в md RAID6, а затем разделить их, чтобы получить очень большой RAID60?

— Джо-Эрленд Шинстад
источник

Вы не можете подключить сотни USB hdds a к одному ПК, есть максимум, указанный в стандарте USB

— Ramhound

Я был бы удивлен, если бы контроллеры USB Sata были достаточно быстрыми, чтобы их можно было использовать в этом случае.

— djsmiley2k

@Ramhound не максимум ... 128?

— djsmiley2k

@ djsmiley2k Я думал, что по какой-то причине это 127, но не сотни, даже если его 128. Лучшие решения , чем USB - накопители ... это или RAID60 , но имеют некоторые серьезные проблемы , я предлагаю Gluster вместо

— Ramhound

Я не писал "сотни". Я написал "сто".

— Джо-Эрленд Шинстад

Хотя это технически выполнимо, я не думаю, что это очень хорошая идея - у вас будут проблемы с отслеживанием, какие диски выходят из строя, система будет громоздкой и подверженной проблемам. 2,5-дюймовые диски не имеют хорошего значения (за гигабайт) по сравнению с 3,5-дюймовыми дисками. У вас также могут возникнуть проблемы со стабильностью RAID - как из-за вибрации, так и из-за ограничений ввода-вывода.

Если бы я решал эту проблему, я бы рассмотрел б / у NAS (с новыми дисками) или модули Backblaze не слишком дорогие и, вероятно, делали бы то, что вы хотите, без большой надбавки.

ВАЖНОЕ ДОБАВЛЕНИЕ

НЕ ИСПОЛЬЗУЙТЕ RAID6 (или RAID5). Они плохо масштабируются - статистическая вероятность сбоя дополнительных дисков во время восстановления удивительно высока на больших дисках (не говоря уже о трудностях с производительностью). Перейти на RAID10

В качестве альтернативы, я бы искал дешевые компьютеры с хорошими 80+ блоками питания, большим количеством отсеков для жестких дисков, а затем использовал распределенную файловую систему для избыточности и масштабирования - что-то вроде moosefs или gluster .

— davidgo
источник

Я бы не использовал большой RAID5 или RAID6es. Они будут небольшими группами, объединенными вместе как RAID50 или RAID60. Вибрация не должна иметь большого значения, так как USB позволит на некотором расстоянии. Не могли бы вы подробнее рассказать о трудностях отслеживания неисправных дисков?

— Джо-Эрленд Шинстад

Хорошо, когда диск выходит из строя, как вы узнаете, какой номер устройства будет сопоставлен с каким из ваших 60 дисков без большого количества запутанного программирования UDEVS каждый раз, когда диск отключается в автономном режиме? RAID50 - плохая идея в любом случае, и я задаюсь вопросом, перевешивает ли ЦП и дополнительный риск и сложность (особенно в домашнем решении) RAID60 простоту решения RAID10 (я бы фактически сделал RAID1, затем использовал бы LVM для создания эффективный RAID10)

— Давидго

Прежде чем перейти к RAID60 - вы должны прочитать storagemojo.com/2010/02/27/does-raid-6-stops-working-in-2019 - Это, конечно, не говорит не делать это, но математика и предположения о дисках RAID6 довольно полезны.

— Давидго

«У вас будут проблемы с отслеживанием того, какие диски выходят из строя». Возможно. Но если корпуса поддерживают smartctl, вы можете получить серийный номер на узле устройства Linux, который также должен быть напечатан на самом диске. (Если он там не напечатан, вы также всегда можете пометить их.) Если вы монтируете их в какой-либо стойке / футляре, вы можете отсортировать их по их серийным номерам, чтобы легче было найти неисправные диски. Или сохраните электронную таблицу, в которой сопоставлены серийные номера дисков с их физическим положением. Не идеально, но возможно.

— cdhowie

Если бы мне задали этот вопрос сегодня, я бы предложил взглянуть на что-то вроде AWS Glacier или его аналога - отвечающее низким начальным затратам и разумным требованиям к избыточности, лучше, чем решение «на свой вкус». (Что не означает, что это дешевле в долгосрочной перспективе)

— Давидго