Почему водяное охлаждение ЦОД не получило широкого распространения?

Из того, что я читал и слышал о центрах обработки данных, не так много серверных комнат, в которых используется водяное охлаждение, и ни один из самых крупных центров обработки данных не использует водяное охлаждение (поправьте меня, если я ошибаюсь). Кроме того, относительно просто купить обычные компоненты ПК с водяным охлаждением, в то время как серверы с водяным охлаждением практически отсутствуют.

С другой стороны, использование воды может (ИМО):

1. Уменьшите энергопотребление крупных центров обработки данных, особенно если возможно создание объектов с непосредственным охлаждением (т. Е. Объект расположен вблизи реки или моря).

2. Уменьшите шум, сделав работу людей в центрах обработки данных менее болезненной.

3. Уменьшите пространство, необходимое для серверов:

   • На уровне сервера я полагаю, что как на стойках, так и на блейд-серверах легче проходить трубки водяного охлаждения, чем тратить пространство, чтобы воздух проходил внутрь,
   • На уровне центра обработки данных, если по-прежнему необходимо сохранять переулки между серверами для обслуживания доступа к серверам, пустое пространство под полом и на уровне потолка, используемое для эфира, может быть удалено.

Так почему системы водяного охлаждения не получили широкого распространения ни на уровне центров обработки данных, ни на уровне стоечных / блейд-серверов?

Это потому что:

• Водяное охлаждение вряд ли избыточно на уровне сервера?

• Прямая стоимость водоохлаждаемой установки слишком высока по сравнению с обычным центром обработки данных?

• Сложно поддерживать такую ​​систему (регулярная очистка системы водяного охлаждения, которая использует воду из реки, конечно, намного сложнее и дороже, чем просто чистка вентиляторов пылесосом)?

Вода + Электричество = Бедствие

Водяное охлаждение обеспечивает большую плотность мощности, чем воздушное охлаждение; так что выясните, как сэкономить на дополнительной плотности (скорее всего, нет, если вы не очень ограничены в пространстве). Затем рассчитайте стоимость риска водной катастрофы (скажем, 1% * стоимость вашего объекта). Затем проведите простое сравнение рисков и вознаграждений и посмотрите, имеет ли это смысл для вашей среды.

Поэтому я разобью свой ответ на несколько частей:

• Физические свойства воды в сравнении с воздухом и минеральным маслом
• Риски водопользования и исторические неудачи
• Общая стоимость охлаждения ЦОД
• Слабые стороны классических систем жидкостного охлаждения

Физические свойства воды по сравнению с другими

Сначала несколько простых правил:

• Жидкость может переносить больше тепла, чем газы
• Испарение жидкого экстракта больше тепла (используется в холодильнике)
• Вода обладает лучшими охлаждающими свойствами среди всех жидкостей.
• Движущаяся жидкость извлекает тепло лучше, чем неподвижная жидкость
• Турбулентный поток требует больше энергии для перемещения, но извлекает тепло лучше, чем ламинарный поток.

Если сравнить воду и минеральное масло с воздухом (для того же объема)

• минеральное масло примерно в 1500 раз лучше воздуха

• вода примерно в 3500 раз лучше воздуха

• Масло является плохим проводником электричества в любых условиях и используется для охлаждения трансформаторов большой мощности.

• масло в зависимости от его точного типа является растворителем и способно растворять пластик
• вода является хорошим проводником электричества, если она не чиста (содержит минералы ...), иначе нет
• вода хороший электролит. Таким образом, металлы, вступающие в контакт с водой, могут быть растворены при определенных условиях

Теперь несколько комментариев о том, что я сказал выше: Сравнения сделаны при атмосферном давлении. В этих условиях вода кипит при температуре 100 ° C, что выше максимальной температуры для процессоров. Поэтому при охлаждении водой вода остается жидкой. Охлаждение органическими соединениями, такими как минеральное масло или фреон (то, что используется в холодильнике), является классическим методом охлаждения для некоторых применений (электростанции, военные машины ...), но долгое использование масла в прямом контакте с пластиком никогда не было сделано в сфере ИТ. Так что его влияние на надежность серверных частей неизвестно (Green Evolution не говорит ни слова об этом). Заставить вас двигаться очень важно. Полагаться на естественное движение внутри неподвижной жидкости для отвода тепла неэффективно, а правильное направление жидкости без трубы затруднительно. По этим причинам,

Технические неисправности

Делать движение воздуха легко, а утечки не являются угрозой для безопасности (для эффективности). Это требует много места и потребляет энергию (15% от вашего рабочего стола уходит на ваших поклонников)

Делать жидкие движения - это хлопотно. Вам нужны трубы, охлаждающие блоки (холодные пластины), прикрепленные к каждому компоненту, который вы хотите охладить, бак, насос и, возможно, фильтр. Более того, обслуживание такой системы затруднено, так как необходимо удалить жидкость. Но это требует меньше места и требует меньше энергии.

Другим важным моментом является то, что много исследований и стандартизации упали на том, как проектировать материнские платы, настольные ПК и серверы на основе воздушной системы с вентиляторами охлаждения. И полученные конструкции не подходят для систем на жидкой основе. Больше информации на formfactors.org

риски

• Системы водяного охлаждения могут протечь, если ваш дизайн сделан плохо. Тепловые трубки являются хорошим примером системы на основе жидкости, в которой нет утечек ( смотрите здесь для получения дополнительной информации )
• Обычные системы водяного охлаждения охлаждают только горячий компонент и, таким образом, все еще требуют воздушного потока для другого компонента. Таким образом, у вас есть две системы охлаждения вместо одной, и вы снижаете производительность вашей системы воздушного охлаждения.
• В стандартных конструкциях утечка воды имеет огромный риск причинения большого ущерба, если она попадет на металлические детали.

замечания

• Чистая вода - плохой проводник электричества
• Почти каждая часть электронных компонентов покрыта непроводящим покрытием. Только паяльных колодок нет. Так что несколько капель воды могут быть безвредными
• Водные риски могут быть уменьшены с помощью существующих технических решений

Охлаждающий воздух снижает его способность удерживать воду (влажность), поэтому существует риск образования конденсата (вредно для электроники). Поэтому, когда вы охлаждаете воздух, вам нужно удалить воду. Это требует энергии. Нормальный уровень влажности для человека составляет около 70% влажности. Возможно, что после охлаждения вам понадобится вернуть воду в воздух для людей.

Общая стоимость центра обработки данных

Когда вы рассматриваете охлаждение в центре обработки данных, вы должны принять во внимание каждую его часть:

• Кондиционирование воздуха (фильтрация, удаление избыточной влажности, перемещение его вокруг ...)
• Холодный и горячий воздух никогда не должен смешиваться, иначе вы снизите свою эффективность, и есть риск возникновения горячей точки (точки, которые недостаточно охлаждаются)
• Вам нужна система для отвода тепла в избытке или необходимо ограничить плотность производства тепла (меньше серверов на стойку)
• Возможно, у вас уже есть трубы для отвода тепла от помещения (для переноса его на крышу)

Стоимость центра обработки данных определяется его плотностью (количество серверов на квадратный метр) и потребляемой мощностью. (некоторые другие факторы также учитываются, но не для этого обсуждения) Общая поверхность центра обработки данных делится на поверхность, используемую самим сервером, системой охлаждения, коммунальными услугами (электричество ...) и обслуживающими помещениями. Если у вас больше серверов на стойку, вам нужно больше охлаждения и больше места для охлаждения. Это ограничивает фактическую плотность вашего центра обработки данных.

Привычки

Центр обработки данных - это нечто очень сложное, требующее высокой надежности. Статистика причин простоя в центре обработки данных говорит о том, что 80% времени простоя вызвано человеческими ошибками.

Чтобы достичь наилучшего уровня надежности, вам нужно много процедур и мер безопасности. Исторически сложилось так, что в центрах обработки данных все процедуры выполняются для систем воздушного охлаждения, и вода ограничивается наиболее безопасным использованием, если оно не запрещено в центрах обработки данных. По сути, вода никогда не вступает в контакт с серверами.

До сих пор ни одна компания не смогла прийти с достаточно хорошим решением для водяного охлаждения, чтобы изменить этот факт.

Резюме

• Технически вода лучше
• Дизайн сервера и дизайн центра обработки данных не адаптированы к водяному охлаждению
• Текущие процедуры обслуживания и безопасности запрещают использование водяного охлаждения внутри серверов
• Ни один коммерческий продукт недостаточно хорош для использования в центрах обработки данных

Хотя у нас есть несколько стоек с водяным охлаждением (на самом деле, HP, не знаю, производят ли они их по-прежнему), в наши дни прямое водяное охлаждение немного устарело. Большинство новых крупных центров обработки данных строятся с всасывающими туннелями, в которые вы проталкиваете свою стойку, и затем протягивает окружающий воздух и удаляет или улавливает для повторного использования тепло, собираемое при его прохождении через оборудование. Это означает отсутствие охлаждения вообще и экономит огромное количество энергии, сложности и технического обслуживания, хотя это ограничивает системы использованием очень специфических стоек / размеров и требует, чтобы свободное место в стойке было «заглушено» спереди.

Вода является универсальным растворителем. Если у вас будет достаточно времени, он съест ВСЕ.

Водяное охлаждение также добавило бы значительный (и дорогостоящий) уровень сложности в центр обработки данных, на который вы ссылаетесь в своем посте.

Системы пожаротушения в большинстве центров обработки данных не содержат воды по нескольким, очень конкретным причинам, во многих случаях ущерб от воды может быть больше, чем ущерб от пожара, а также потому, что центрам обработки данных приходится работать безотказно (с резервными генераторами для питания и т. Д.) это означает, что довольно трудно отключить электричество (в случае пожара), чтобы обливать его водой.

Так что вы можете себе представить, если у вас в центре обработки данных есть какая-то сложная система водяного охлаждения, которая избавляется от призрака в случае пожара? Хлоп.

Я думаю, что короткий ответ заключается в том, что это добавляет значительную сложность. Это не столько проблема космоса.

Если вам приходится иметь дело с большим количеством воды (трубопровод, сток и т. Д.), Вы добавляете много риска ... вода и электричество смешиваются не очень хорошо (или они смешиваются слишком хорошо, в зависимости от того, как вы смотрите на Это).

Другая проблема с водой - влажность. В больших масштабах все ваши системы кондиционирования будут брошены на петлю. Затем происходит накопление минералов в результате испарения, и, без сомнения, множество других вещей, о которых я здесь не думал.

вода НЕ должна использоваться для охлаждения центра обработки данных, но минеральное масло очень хорошо смешивается с электричеством. см. http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

Несмотря на то, что решение является новым, технология довольно старая, однако осуществить такой тип изменений в существующих центрах обработки данных становится очень сложно, так как вам необходимо заменить существующие стойки новыми стойками ...

Большим препятствием для отказа от использования воды в центрах обработки данных является тот факт, что большинство систем водяного охлаждения являются примитивными. Все они нуждаются в быстром подключении для подключения сервера к источнику воды в стойке, и это является источником отказа, тем более что их может быть тысячи в постоянном токе. Они также усложняют обслуживание серверов, и в большинстве случаев вам все еще нужны вентиляторы. Итак, вы добавляете к сложности.

С человеческой стороны большинство руководителей предприятий сопротивляются переменам. Они очень опытны в воздушном охлаждении, и переход на жидкость сделает эти навыки устаревшими. Кроме того, каждый производитель оборудования будет противостоять изменениям, поскольку это повлечет за собой полную переделку линейки продуктов.

Изменения будут происходить только с: а) улучшенным дизайном жидкостного охлаждения и б) законодательством, чтобы заставить изменения

Они нужны, но вам нужны специально разработанные компоненты, OVH (одна из крупнейших компаний в мире центров обработки данных) использует водяное охлаждение уже более 10 лет.

Проверьте эту ссылку, где вы можете увидеть их стойки: http://www.youtube.com/watch?v=wrrZxmfevoE

Основная проблема для классических компаний заключается в том, что вам необходимо провести некоторые исследования и разработки, чтобы использовать такую ​​технологию.

Центры датирования с водяным охлаждением очень эффективны и экономят энергию при условии, что у вас есть очищенная вода. однако опасности больше, если они находятся в тесном контакте. 1) уровень влажности / влажность
2) вода против электричества.

Вода на самом деле не самая лучшая жидкость для использования. Как указывалось, со временем оно растворяется. Конечно, вода хорошо подходит для охлаждения, но все же не лучший. Тем не менее, минеральное масло также может прийти в игру, это также не лучший выбор.

Доступны специальные масла для теплопередачи, которые не являются коррозийными, в отличие от воды, и специально разработаны для использования в качестве теплоносителя. Paratherm уже делает самые разнообразные из них.

Проблема заключалась бы в подключении материала к теплообменнику с замкнутым контуром, и мы говорим о больших количествах.

Решение уже сделано, но не используется в электронике и происходит от сельскохозяйственной техники. Чтобы назвать это, гидравлика. Быстроразъемные концы шлангов герметичны, если по какой-либо причине они отсоединены, они также закрывают их как с наружной, так и с внутренней стороны. в худшем случае при отключении может быть не более 1-2 маленьких капелек.

Таким образом, мы можем устранить эту часть. Однако разработка правильных медных деталей, подходящих для каждой отдельной микросхемы / схемы, требующей охлаждения, является сложной задачей. Как и в случае жидкостного охлаждения, необходимо покрыть каждую деталь, которая должна избавиться от избыточного тепла. Требуется насос относительно высокого давления, датчики давления и редукторы, чтобы убедиться, что в каждой стойке имеется достаточное количество циркулирующей жидкости, и предотвратить поломку. Электронные запорные клапаны также будут необходимы. В этом нет ничего нового, так как эти детали уже сделаны, даже если для самых разных целей. Многие небольшие вентиляторы имеют преимущество избыточности, поэтому было бы желательно иметь несколько насосных агрегатов, чтобы предотвратить вероятность отказа одной точки.

Кроме того, если это действительно замкнутый цикл, то перемещение теплоносителя с низкой вязкостью, а не огромного количества воздуха, естественно, окупится.

На самом деле было бы несколько способов сделать это. Прежде всего, расходы на кондиционирование и эксплуатацию вентиляторов будут снижены. Никогда не стоит недооценивать эти расходы. Даже маленький вентилятор может потреблять несколько ватт энергии, и через некоторое время вентиляторы выходят из строя. Гидравлический насос может работать - учитывая низкое давление, связанное с этим применением - буквально в течение 24/7 лет, заменяя огромное количество вентиляторов. Далее, чипы серверного класса способны противостоять злоупотреблениям и могут работать при очень высоких температурах по сравнению с настольными устройствами. Несмотря на это, держите их холоднее, и ожидаемая продолжительность жизни будет больше, что никогда не следует недооценивать, учитывая цену этих вещей. Фильтрация воздуха для предотвращения попадания пыли и влаги больше не требуется.

Эти факторы значительно превосходят недостатки такого рода технологий охлаждения. Тем не менее, первоначальные инвестиции выше. Конечно, решение может обеспечить более высокую плотность настройки серверов, но в данный момент центры обработки данных просто не учитывают инвестиции. Восстановление существующего решения по охлаждению займет время, а время - деньги. Обслуживание было бы также очень простым, так как громоздкие радиаторы просто не требовались бы и не были бы поклонниками. Следует помнить о сокращении числа возможных точек отказа (каждый вентилятор является одним из них), также резервные насосы могут включаться без какого-либо вмешательства со стороны операторов. Также фанаты тоже разогревают себя. Рассмотрим блок с 20 вентиляторами внутри, который дает не более 5 Вт. Конечным результатом будет еще 100 ватт тепла, чтобы как-то избавиться. Насосы и приводные двигатели также выделяют тепло, но не внутри стойки. Скорее отделены и изолированы от целевой системы. В случае короткого замыкания, например, при коротком замыкании активного элемента питания, этот тип жидкостного охлаждения может фактически переместить достаточно тепла и, следовательно, снизить вероятность распространения пожара. Перемещение свежего воздуха около огня - не лучшая идея. Пластиковые детали также плавятся, а пластиковые детали легко воспламеняются. Жидкость для теплопередачи будет успешно работать при температурах, при которых вентиляторы будут таять, потенциально давая возможность для другого источника короткого замыкания. Пластиковые детали также плавятся, а пластиковые детали легко воспламеняются. Жидкость для теплопередачи будет успешно работать при температурах, при которых вентиляторы будут таять, потенциально давая возможность для другого источника короткого замыкания. Пластиковые детали также плавятся, а пластиковые детали легко воспламеняются. Жидкость для теплопередачи будет успешно работать при температурах, при которых вентиляторы будут таять, потенциально давая возможность для другого источника короткого замыкания.

Так будет ли опасно жидкостное охлаждение? Я думаю, что с точки зрения безопасности куча маленьких поклонников гораздо опаснее. С точки зрения продолжительности жизни, на мой взгляд, жидкостное охлаждение намного предпочтительнее. Единственными недостатками являются обучение персонала и первоначальные инвестиции. Кроме того, это гораздо более жизнеспособное решение, которое хорошо окупается даже в середине.

Он работает просто замечательно, но его дорого и требует много времени для установки на тысячи машин и занимает много места. Плюс это не обязательно. Игровые автоматы имеют очень плотный способ сблизиться. Что-нибудь с приличной вентиляцией будет хорошо с хорошим воздушным потоком 70f, даже работая на 100%, что они вряд ли когда-либо делают.