Добавление 60 ТБ хранилища на сервер SLES 10

Я должен добавить некоторое архивное / промежуточное хранилище на сервер SLES 10. Требуется представить довольно большие тома (9-20 ТБ каждый приблизительно, 60 ТБ или около того), которые будут использоваться для хранения архивных данных (буквально, для библиотеки), содержащих большие файлы изображений (по большей части 150Meg Tiff) и большие тарболы. Данные будут подавляющим большинством для чтения IO, конечно,> 95% и, вероятно, более 99%.

Хранилище уже куплено - массив массивов Dell MD3000 SAS, объединенный с 2 ​​MD1000, полностью заполнен 2 ТБ дисками SATA 7200 об / мин, всего 45 дисков. Стек массивов подключается с помощью двухпортовых внешних адаптеров SAS, т. Е. Имеется 4 пути к стеку.

Я намерен настроить их как набор из 4 томов, расположенных в 4 группах RAID, с одним горячим резервом на массив. Все группы будут RAID 6 с 7 или 14 дисками, и каждая группа RAID будет представлена ​​как один LUN с использованием всей емкости в этой группе. На стороне SLES они должны быть отформатированы как тома XFS.

У меня ограниченный опыт работы со SLES (и Linux в целом), и я ищу некоторые рекомендации по этому поводу, в частности:

1. При настройке томов XFS такого размера в SLES 10 следует соблюдать особые меры, т. Е. Будут ли настройки по умолчанию в порядке с профилем ввода-вывода?
2. Каков наилучший способ инициализировать \ разделить \ отформатировать их? Я использовал Parted для установки метки диска и YAST Partition Manager (принимая все значения по умолчанию) для создания и форматирования тома XFS для моего начального теста.
3. Как настроить многолучевое распространение? Когда я представляю начальный тестовый том, он отображается в виде четырех отдельных устройств (/ dev / sdl, / dev / sdm, / dev / sdn и / dev / sdn). Что мне делать, чтобы работать с этим как с одним томом?
4. В моем начальном тестировании я вижу скорость передачи от существующего объема EMC Clariion SAN около 30Meg / sec. Это намного ниже, чем я ожидал, даже учитывая штраф за запись в RAID 6, я ожидал увидеть что-то на уровне 70-100Meg / sec.
5. Как узнать, все ли в порядке - где искать ошибки \ предупреждения и т. Д.? Например, редактору YAST Partition требуется очень много времени для запуска, и я хотел бы понять, почему.
6. Вы бы разбили это по-другому и \ или использовали бы другую файловую систему, и если да, то почему?

Сервер Dell 2950 - я не проверял подробные спецификации, но верхняя часть показывает, что использование не превышает однозначных цифр.

На моей предыдущей работе у нас была похожая проблема. Мы занимались производством планетариев, и каждый кадр составлял 64 мегапикселя. Много больших изображений. Они будут обрабатываться для каждого театра в очень агрессивной операции чтения на кластере компьютеров.

Сервер в этом случае имел аналогичную настройку хранилища. Несколько внешних RAID-массивов с прямым подключением. Каждый из них находился в томах RAID6, доступных для хоста, и добавлялся в VG (группу томов) под LVM (менеджер логических томов). Каждое шоу / производство получало бы свой собственный LV (логический том), отформатированный XFS, который мы будем расширять с проектом по мере необходимости.

Если ваши наборы данных довольно статичны или растут предсказуемым образом, как этот, тогда этот подход должен работать хорошо для вас. Но будьте осторожны, у этого подхода есть обратная сторона. В конечном итоге вам придется микро-управлять LV на вашем хранилище. Некоторые администраторы предпочитают это таким образом, но другие постараются избежать этого. Но это позволяет вам увеличивать каждую файловую систему LV и XFS по мере роста набора данных. Сохраняйте ваши тома XFS как можно меньше, чтобы вы не застряли с fsck, который занимает годы. И может действовать как контроль повреждений, если файловая система уйдет на юг.

Отказ от ответственности: если бы я настроил это сегодня, я бы использовал OpenSolaris и ZFS. Главным образом это позволяет избежать проблем с микроуправлением и является превосходной файловой системой / менеджером томов. Так что вы можете посмотреть на это.

Я был бы намного больше включен, чтобы купить больше дисков и RAID 10 их.

У меня были ужасные проблемы с сотнями 1 ТБ дисков FATA (оптоволоконный SATA), которые мы купили некоторое время назад, по 1 тыс. Фунтов стерлингов каждый, и я теряю 5% в месяц! По сути, они просто не предназначены для рабочего цикла 24x7, и поэтому у вас могут быть те же проблемы, поэтому я рекомендую R10.

RAID6 - это шаг в правильном направлении, но если у вас есть возможность, я бы оставил хотя бы один диск в качестве «горячего» резерва - если диск умирает где-нибудь на вашем массиве, он будет подпрыгивать и чередоваться, пока он ждет вас. заменить неисправный диск. По этому вопросу убедитесь, что у вас есть как минимум 2 или 3 запасных диска, готовых к замене, а также убедитесь, что у вас есть все настройки оповещения, чтобы вы знали, когда возникает проблема 24x7.

Что касается производительности, то эти 2ГБ диски не так уж и неаккуратны для диска 7,2 КБ, а SAS может быть очень быстрым, поэтому я ожидаю, что 70 МБ / с для последовательных операций чтения, о которых вы упомянули, - очевидно, что случайности и записи будут довольно низкими.

Извините, если я выгляжу отрицательно, я только что боролся с хранилищем в течение многих лет и могу спать только с корпоративными дисковыми системами - я только что вытащил слишком много 48/72-часовых смен, фиксирующих более низкую передачу