Насколько важно правило 1 ГБ ОЗУ на 1 ТБ для ZFS?

Я планирую собрать свою первую коробку NAS, и в настоящее время я обдумываю FreeNAS а также ZFS для этого. Я читаю на ZFS и это набор функций звучит интересно, хотя я, вероятно, буду использовать только часть этого.

В большинстве руководств говорится, что рекомендуемое практическое правило заключается в том, что для каждого ТБ дискового пространства в вашем пуле необходимо 1 ГБ (ECC-) ОЗУ. Поэтому мой вопрос: каково реальное (ожидаемое) влияние на игнорирование этого правила?

Вот пример того, кто строит NAS на 71 ТБ с ZFS и 16 ГБ оперативной памяти. , По его словам, это похоже на очарование. Однако он использует Linux (если это имеет значение).

Таким образом, очевидно, вам не нужно 96 или даже 64 гигабайта оперативной памяти для запуска такого большого пула. Но правило должно быть там по причине. Так что же происходит, если у вас нет рекомендуемого объема оперативной памяти? Это просто немного медленнее или вы рискуете потерять данные или получить доступ к вашим данным только в улитках?

Я понимаю, что это также во многом связано с функциями, которые будут использоваться, поэтому вот параметры, которые я рассматриваю:

Это домашняя система
16 ГБ ECC RAM (максимум, поддерживаемый настройкой, которую я имею в виду)
Нет дедупликации, нет ЗИЛ, нет L2ARC
Вероятно, с включенным сжатием
Будут храниться в основном медиа файлы разных размеров
Вероятно, будут запускаться битовые торрент-сервисы или подобные сервисы (часто более мелкие операции чтения / записи)
4 диска по 5 ТБ каждый
Фактическая настройка пула, вероятно, будет частью другого вопроса, но я думаю, что нет RAIDZ (хотя мне было бы интересно узнать, если это действительно имеет значение в этом контексте), возможно, два пула с двумя дисками каждый (для 10 ТБ нетто-хранилища), один действующий в качестве резервной копии

— Sebastian_H
источник

Конечно, вы не необходимость столько памяти. Если вы не используете дедупликацию, это серьезно укусит вас в задницу. Конечно, производительность может быть не оптимальной.

— Daniel B

Это рекомендация. Существует очень мало аппаратных конфигураций, которые бы поддерживали 96 ГБ памяти. В большинстве случаев требуется несколько конфигураций процессора для достижения такой большой плотности памяти. Даже если это требовалось, ваша система по вашим собственным спецификациям не поддерживает 20 ГБ памяти. Современные процессоры Intel 6-го поколения поддерживают только 64 ГБ памяти DDR4. , Я понимаю, что существуют системы с объемом памяти в несколько ТБ, мы говорим о потребительском оборудовании, а не о больших серверах.

— Ramhound

Прежде чем кто-то скажет, что я неправ. Помните контекст этого вопроса и масштаб Суперпользователя.

— Ramhound

@Ramhound Ограничение в 16 ГБ - причина, по которой я задал вопрос. Я еще не купил его, так что переключение на машину, которая может поддерживать 32 ГБ, было бы возможно, но сделало бы все это более дорогим. Если бы это было просто из-за другой памяти, я бы не возражал. Но я не хочу вкладывать дополнительные деньги, если это не является абсолютно необходимым.

— Sebastian_H

@DanielB производительность может быть не оптимальной - это та часть, в которой я заинтересован в ответе. Я понимаю, что недостаток памяти может привести к снижению производительности системы. Но о какой сфере мы говорим? Мы говорим о «не всегда можно насытить 1-гигабитное соединение Ethernet» или о «потере производительности 64 КБ модема быстрее, чем ваша система»?

— Sebastian_H

Единственная причина, по которой вам потребуется использовать это соотношение оперативной памяти и дискового пространства, заключается в том, что вы решили использовать дедупликацию данных. Это не говорит о том, что соотношение 1 ГБ к 1 ТБ является обязательным.

Согласно вики:

Эффективное использование дедупликации может потребовать большой емкости ОЗУ; Рекомендации варьируются от 1 до 5 ГБ ОЗУ на каждый ТБ хранилища. Недостаточная физическая память или отсутствие кеша ZFS может привести к перегрузке виртуальной памяти при использовании дедупликации, что может либо снизить производительность, либо привести к полному истощению памяти. Твердотельные накопители (SSD) можно использовать для кэширования таблиц дедупликации, что повышает производительность дедупликации.

Источник

— DrZoo
источник

Интересно. На самом деле я только что увидел, что в более старой документации FreeNAS для версии 9.2.2 есть это предложение: " Если вы планируете использовать свой сервер для домашнего использования, вы часто можете смягчить эмпирическое правило 1 ГБ ОЗУ на каждый 1 ТБ хранилища [...]. Лучшее место для большинства пользователей дома / малого бизнеса - 16 ГБ ОЗУ. «Однако в документации текущей версии такого предложения нет. Вместе с ответами на форуме FreeNAS о памяти это часто звучит так, будто это железное правило, которому нужно следовать, иначе ваш NAS замедлится до 64 КБ или чего-то еще»

— Sebastian_H

@Sebastian_H: В основном это мусор. Эмпирическое правило - это эмпирическое правило, в лучшем случае приблизительное, в худшем - совершенно неуместное. Все, что больше 4 ГБ, хорошо, даже для массива 100 ТБ.

— qasdfdsaq