В течение долгого времени я слышал о том, насколько плоха идея большого (> 5 ТБ?) Массива RAID-5 просто потому, что существует большой риск отказа другого диска.
Удалось ли RAID-Z1 исправить это для массива любого размера (если вам абсолютно необходимо число, например, 4x2TB или 5x2TB)? Может быть, более безопасный способ повторить данные, которые не так интенсивно на всех дисках?
Ответы:
Даже учитывая то, что здесь изложен один из других ответов, а именно, что ZFS работает только с фактически используемыми блоками, а не с пустым пространством, да, все еще опасно делать большой RAIDZ1 vdev. Большинство пулов в итоге используется как минимум на 30-50%, многие доходят до рекомендованного максимума в 80% (некоторые выходят за его пределы, я настоятельно рекомендую не делать этого вообще, по соображениям производительности), так что ZFS работает только с использованными блоками это не огромная победа. Кроме того, некоторые другие ответы заставляют это звучать как плохое чтение, что является причиной проблемы. Это не так. Небольшая гниль внутри блока - это не то, что вас здесь облажает, обычно это другой диск, который просто портится и портится, в то время как резервный диск с первого диска продолжает работать, что убьет вас ... и на дисках объемом 3 ТБ в большом raidz1 это может занять дни, даже недели переместиться на новый диск, так что ваш шанс на это не будет незначительным.
Моя личная рекомендация клиентам - никогда не использовать RAIDZ1 (эквивалент RAID5) вообще с дисками емкостью более 750 ГБ, просто чтобы избежать большого количества потенциальных неприятностей. Я согласен с тем, что они нарушили это правило по другим причинам (у системы есть резервная копия в другом месте, данные не так важны и т. Д.), Но обычно я стараюсь использовать RAIDZ2 как минимальный вариант с большими диски.
Кроме того, по ряду причин я обычно рекомендую использовать не более 8-12 дисков в полосе raidz2 или 11-15 дисков в полосе raidz3. Вы должны быть на нижнем уровне этих диапазонов с дисками объемом 3 ТБ, и, возможно, все будет в порядке на верхнем уровне этих диапазонов на дисках объемом 1 ТБ. То, что это поможет вам избежать мысли о том, что большее количество дисков выйдет из строя во время работы адаптера, является лишь одной из этих причин, но большой.
Если вы ищете какие-то вменяемые эмпирические правила (отредактируйте 04/10/15 - я написал эти правила, имея в виду только вращающиеся диски - потому что они также логичны [зачем вам делать менее 3 дисков в raidz1], они имеет смысл даже для пулов SSD, но когда я записывал их, в моей голове не было ничего общего с пулами SSD:
Является ли RAID-Z таким же плохим, как R5, нет. Это так же хорошо, как R1 или R10, обычно нет.
RAID-Z знает о пустых местах на дисках, где R5 нет. Таким образом, RAID-Z должен только прочитать области с данными, чтобы восстановить отсутствующий диск. Кроме того, данные не обязательно распределяются по всем дискам. Очень маленький файл может находиться только на одном диске с контролем четности на другом диске. Из-за этого RAID-5 придется считывать ровно столько же данных, сколько места, используемого в массиве (если 1 МБ используется для массива 5 ТБ, то для восстановления требуется только 1 МБ).
Иначе говоря, если большая часть большого массива заполнена, то большая часть данных должна быть считана со всех дисков. По сравнению с R1 или R10, где данные должны извлекаться только с одного диска (на каждый неисправный диск; если несколько дисков выходят из строя только в ситуациях, когда массив все еще можно восстановить).
Что вас беспокоит, так это тот факт, что с каждой операцией чтения сектора есть шанс, что вы найдете сектор, который был написан неправильно или больше не читается. Для типичного диска в наши дни это около 1x10 ^ -16 (не все диски равны, поэтому посмотрите спецификации на ваших дисках, чтобы выяснить их рейтинг). Это невероятно редко, но выходит примерно раз в 1PB; для массива 10 ТБ вероятность того, что ваш массив является тостом, составляет 1%, и вы не узнаете его, пока не попытаетесь его восстановить.
ZFS также помогает уменьшить этот шанс, так как большинство нечитаемых секторов заметны, прежде чем вы начнете пытаться перестраивать свой массив. Если вы регулярно чистите массив ZFS, операция очистки обнаружит эти ошибки и обойдет их (или предупредит вас, чтобы вы могли заменить диск, если вы так катитесь). Они рекомендуют вам чистить диски корпоративного уровня примерно от одного до четырех раз в месяц; и потребительские диски по крайней мере один раз в неделю или больше.
Некоторые из преимуществ RAID-Z по сравнению с традиционным RAID-5 заключаются в том, что он не требует специального оборудования и является более надежным, поскольку позволяет избежать дыры в записи RAID-5.
Тем не менее, и RAID-Z и RAID-5 не выдерживают более одного отказа диска.
Если вы хотите пережить сбой двух дисков с ZFS, вы можете использовать RAIDZ2 , а сбой трех дисков RAIDZ3 .