Кажется, что существует множество разногласий по поводу установки стоечных серверов. Были темы, обсуждающие кабельные кронштейны и другие аксессуары для монтажа в стойку, но мне любопытно:
Оставляете ли вы пустой блок стойки между серверами при их установке? Почему или почему нет? Есть ли у вас эмпирические доказательства в поддержку ваших идей? Кто-нибудь знает об исследовании, которое убедительно доказывает, лучше или нет?
Ответы:
Если на ваших серверах используется сквозное охлаждение от передней к задней части, как это делают большинство серверов, монтируемых в стойку, оставленные промежутки могут повредить охлаждению. Вы не хотите, чтобы холодный воздух мог попасть в горячий проход, кроме как через сам сервер. Если вам необходимо оставить зазоры (из-за проблем с питанием, веса пола и т. Д.), Вы должны использовать заглушки, чтобы воздух не проходил между серверами.
Я никогда не пропускал стойки между стоечными устройствами в шкафу. Если бы производитель дал указание пропустить U между устройствами, я бы это сделал, но я никогда не видел такой рекомендации.
Я ожидаю, что любое устройство, предназначенное для монтажа в стойку, будет отводить тепло через переднюю или заднюю панель. Некоторое тепло будет проходить через рельсы, верх и низ шасси, но я ожидаю, что оно будет очень небольшим по сравнению с излучением спереди и сзади.
В нашем дата-центре мы не оставляем пробелов. У нас холодный воздух поднимается с пола, и из-за зазоров возникают проблемы с воздушным потоком. Если по какой-то причине у нас есть зазор, мы закрываем его пустой тарелкой. Добавление пустых тарелок немедленно сделало верхушки наших холодных проходов более холодными, а наши горячие проходы - более горячими.
Я не думаю, что у меня больше есть данные или графики, но разница стала очевидной, как только мы начали вносить изменения. Серверы на вершинах стоек перестали перегреваться. Мы перестали готовить источники питания (что мы делали со скоростью около 1 / неделю). Я знаю, что изменения начались после того, как наш менеджер центра обработки данных вернулся с выставки Sun Green Data Center, где он участвовал в нескольких семинарах по охлаждению и тому подобному. До этого мы использовали зазоры и частично заполненные стойки и перфорированные плитки в полу спереди и сзади стоек.
Даже при наличии управленческого оружия устранение пробелов сработало лучше. Все внутренние температуры нашего сервера повсюду в комнате находятся в пределах спецификации. Этого не было до того, как мы стандартизировали наше кабельное управление, устранили пробелы и исправили размещение плитки для пола. Мы хотели бы сделать больше, чтобы направить горячий воздух обратно в подразделения CRAC, но мы пока не можем получить финансирование.
Я не пропускаю Нас. Мы сдаем в аренду и нам стоим денег.
Нет причин для тепла в эти дни. Весь холодный воздух поступает впереди и сзади. Больше нет вентиляционных отверстий на верхушках.
Google не оставляет U между серверами, и я думаю, что они обеспокоены управлением теплом. Всегда интересно наблюдать, как крупные игроки выполняют свою работу. Вот видео одного из их центров обработки данных: http://www.youtube.com/watch?v=zRwPSFpLX8I&feature=player_embedded
Перейдите непосредственно к 4:21, чтобы увидеть их серверы.
Не покидайте пространство, если у вас прохладный воздух, выходящий с пола, а также используйте заготовки в неиспользуемом помещении. Если у вас просто нетехнологичная система охлаждения с использованием стандартного кондиционера, лучше всего оставить зазоры, чтобы минимизировать горячие точки, когда у вас есть горячие серверы, сгруппированные вместе.
У нас есть 3 1/2 стойки стоек узлов кластера и их хранилище в колокейшн-центре. Единственные места, где мы пропустили U, - это то место, где нам нужно направить сетевые кабели к центральной стойке, где расположен коммутатор кластера ядра. Мы можем позволить себе делать это в разумных пределах, поскольку стойки уже перегружены в плане мощности, поэтому было бы невозможно втиснуть в них больше узлов :)
Эти машины работают 24/7 на 100% ЦП, и некоторые из них имеют до 16 ядер в корпусе 1U (4x четырехъядерных Xeon), и я пока не видел каких-либо негативных последствий не оставляя пробелов между большинством из них.
Пока ваше оборудование имеет хорошо спроектированный воздушный путь, я не понимаю, почему это будет иметь значение.
Каждый третий, но это связано с управлением руками и необходимостью обходить их, а не нагревать. Тот факт, что к каждому серверу подключено 6 кабелей Cat5, не помогает. Мы интенсивно используем панели-заглушки и воздушные перегородки на верхней части стоек, чтобы предотвратить рециркуляцию из прохода.
Кроме того, в нашем дата-центре есть недостаток - это пространство. Он был разработан для расширения, когда серверы 7-10U были стандартными. Теперь, когда мы перешли на кластеры ESX с плотной стойкой, это город-призрак.
Я бы не оставлял промежутки между серверами, но я бы остановился на таких вещах, как сетевые коммутаторы - это позволяет мне размещать несколько полос управления кабелем 1U выше и ниже ... но это определенно не сделано для охлаждения.
Я обычно оставляю пустой RU после примерно 5RU серверов (то есть 5x1ru или 1x2ru + 1x3ru), и это будет зависеть от настройки охлаждения в центре обработки данных, в котором вы находитесь. Если у вас есть охлаждение перед стойкой (т.е. решетка в передняя часть стойки) идея в том, что холодный воздух поднимается с пола, а ваши серверы всасывают прохладный воздух через них. в этом случае вы, как правило, получаете лучшее охлаждение, не оставляя пустых слотов (т. е. используйте пустую крышку RU. Но, если судить по охлаждению через панель пола в вашей стойке, вы получаете более эффективное охлаждение, разбивая серверы на кучу друг на друга для всей стойки
В ситуации, когда у нас был наш собственный центр обработки данных, и пространство не было проблемой, я обычно пропускал U (с разделителем для блокировки воздушного потока) между логическими областями: у веб-серверов есть один раздел, база данных, контроллер домена, электронная почта, и у файлового сервера был другой, и у межсетевых экранов и маршрутизаторов был другой. Коммутаторы и коммутационные панели для удаленных рабочих столов находились в собственной стойке.
Я точно помню один случай, когда я пропустил U по причинам охлаждения. Это было решение A / V для кабельного телевидения в средней школе, где было три подразделения, каждое из которых отвечало за обслуживание системы кабельного телевидения в одной части здания. После того, как верхний блок пришлось заменить в третий раз за два года из-за перегрева, я выполнил некоторую «операцию» на стойке, чтобы сделать монтажные отверстия, чтобы оставить 1 / 2U пространства между каждым из трех блоков (для всего 1 U общей площади).
Это действительно решило проблему. Само собой разумеется, что это было тщательно задокументировано, и для очень хорошей меры я приклеил лист к верху одного из них в промежутках, объясняя, почему вещи были такими, как они были.
Здесь есть два урока:
Они у меня в одной стойке. У меня никогда не было проблем с этим, поэтому у меня никогда не было причин их разносить. Я мог бы представить, что самая большая причина, по которой люди размещают их, это тепло.
Оставление промежутков между серверами может повлиять на охлаждение. Многие центры обработки данных работают в «горячих» и «холодных» коридорах.
Если вы оставите промежутки между серверами, вы можете повлиять на эффективный поток воздуха и охлаждение.
Эта статья может представлять интерес:
Чередование холодных и горячих проходов обеспечивает более надежное охлаждение для ферм серверов
Я оставил 1/3 RU между двумя коммутаторами раньше, в основном потому, что они были 1 1/3 RU каждый.
Если бы я сложил их вместе, то верхняя шестерня была бы не на своем месте на 1/3 от U.
Кроме того, я никогда не оставлял места исключительно для охлаждения, только для будущего роста.