Строители наполнили мое САН бетонной и минеральной пылью

Обновление: EMC отказалась от нашей гарантии и поддержки, так что это будет страховой случай. Dell говорит, что мы можем нанять профессиональное агентство по уборке, чтобы обновить серверы и сохранить нашу гарантию. Cisco говорит «возможно». HP все еще молчит :(

Окончательное обновление: EMC развернулась и одобрила чистку от сертифицированной компании. VNX был отправлен нам сегодня и работает просто отлично. Остальная часть серверной комнаты также очищается, и наши потери ограничиваются парой стримеров. Страховая компания оплачивает счет практически за все остальное.

Оригинальный вопрос:

Вот история ..

Владельцы здания, которые мы сдаем в аренду под офис, решили заняться ремонтом экстерьера. Это включало в себя довольно тяжелую работу на уровне нашего серверного помещения, включая замену окон, которые помещаются внутри бетонной стены.

Мой красный сигнал тревоги сработал, когда я услышал, что они собираются сделать то же самое с нашей серверной комнатой (да, у нашей серверной комнаты есть окно. Мы - небольшой магазин с 3 стойками. Окно защищено стальными решетками.) Я четко сказал подрядчику, что им необходимо временно установить стену между нашими стойками и первоначальной стеной - и убедиться, что временная стена на 100% воздухонепроницаема и водонепроницаема. Они обещали это сделать.

Временная стена имеет небольшую дверь, так что рабочие могут входить / выходить в течение дня (через нашу серверную комнату, которая была единственным вариантом ....). Несколько раз я мог найти маленькую дверь на полпути закрытой во время работы вечерами / ночами. Я запер дверь и подумал, что они, надеюсь, скоро поймут и сохранят дверь закрытой. Я даже дал электрику полный рот, когда увидел, что он не закрыл дверь должным образом.

К этому моменту - держу пари, что большинство из вас получат представление о том, что произошло. Да, они, вероятно, оставили дверь открытой во время бурения в бетоне.

Представляю вам нашу 4-летнюю EMC VNX: VNX диски VNX стойка

Я даже добавлю небольшой бонус, вот ИБП APC на одну стойку подальше от временной стены. Видишь красивую маленькую посадочную полосу из моего пальца? UPS

Что я должен делать? Единственное, что приходит на ум, это позвонить всем нашим поставщикам (EMC, HP, Dell, Cisco) и попросить их отправить техников, чтобы проверить все оборудование в серверной комнате, или получить какого-нибудь сертифицированного стороннего консультанта. чтобы проверить все это. Будете ли вы запускать производственные системы на этом оборудовании? Сколько?

Я должен также отметить, что наш кондиционер не совсем корпоративного уровня, учитывая характер нашей маленькой комнаты. Это всего лишь один инвертор, который один раз вышел из строя, прежде чем я начал работать здесь (отказавший инвертор обычно приводит к вытеканию воды).

server-room disaster

— pauska
источник

К сожалению, я знаю, что производственные системы работают в гораздо худших условиях (например, склады). Но он не идеален ни в коем случае, особенно для нового оборудования. Я бы расследовал, получая какую-то компенсацию за очистку, по крайней мере, и, возможно, за несколько неизбежных неудач поклонников. Хотя это в значительной степени зависит от вашего воздушного потока и от того, сколько единиц оборудования проходит через него. Как минимум, очистите помещение, затем воздушные фильтры или воздухозаборники на оборудовании и внимательно следите за температурой и охлаждением.

— Sirex

Да - хотя это не очень хорошая вещь, я видел гораздо хуже и на более критичных и более дорогих комплектах. Итак, разберитесь, но я не ожидал бы надвигающегося отказа.

— Дан

Плохо читать, что EMC отказалась от гарантии, другие производители будут делать то же самое, держу пари ... Не бойтесь привлекать к этому адвоката ...

— HTDutchy

Наоборот: бойтесь привлекать к этому адвокатов. Собери доказательства. Да, получить профессиональный совет. Однажды у нас была серьезная проблема, когда адвокат сказал нам, что у нас есть материальный ущерб. Оказалось, что у нас нет, и после судебного иска против продавца, который мы проиграли, у нас был иск против нашего адвоката, который был смягчен в судебном порядке. Будьте очень, очень осторожны с тем, какой ущерб действительно существует, и кто несет ответственность. Если вы найдете заслуживающего доверия адвоката (адвоката), он скажет вам, какие усилия требуются в судебном процессе и каковы ваши шансы. Если они говорят, что это на 100% ясно, они лгут.

— Посипиет

Эти бедные дети!

— Бен Брока

Ответы:

Получить всех техников в.
Заставьте их проверить / почистить все оборудование.
Отправьте счет планировщику здания.

Действительно, серверы могут выдерживать некоторый уровень пыли, но это слишком много. Мы регулярно чистим наши серверы во время простоя с помощью пылесоса для ПК 3M . Это приятно иметь в офисе.

Но сейчас начнем уборку. Чем быстрее вы получите пыль оттуда, тем лучше. Старайтесь держать радиаторы и вентиляторы чистыми от пыли. Если радиатор или вентилятор покрыты пылью, их способность рассеивать тепло намного хуже, чем у чистого блока.

— Барт Де Вос
источник

В этом случае он должен действительно расследовать вопрос найма службы, которая специализируется на антистатической очистке серверной комнаты.

— erimar77

@ erimar77: Наша страховая компания находится на этом маршруте прямо сейчас :)

— pauska

Первое: когда серверная комната становится строительной площадкой, вы должны удалить все серверы по нескольким причинам.

Перебои питания
отключение охлаждения
доступ (вы не знаете, кто проходит мимо ваших серверов, в какой час)
механическое напряжение из-за строительной техники
прямой ущерб работникам, которые идут врезаться
остаточная пыль от строительной площадки, особенно металлическая или минеральная пыль

Единственная надежная ставка - удалить ваши серверы в другую комнату. Это означает дополнительные отключения, но в ходе строительных работ вам, возможно, придется все равно отключиться.

(заметьте, мое субъективное мнение следующее) Теперь это произошло. Вентиляторы покрыты минеральной пылью. Это потенциально сокращает их срок службы, воздействуя на подшипники.

Я не ожидал бы, что серверы выйдут из строя, но я бы ожидал более высокий процент отказов. У довольно крупного клиента отключение вентиляторов увеличилось после строительных работ.

Но опять же, я бы не стал делать все возможное, чтобы очистить системы. Если чистка приводит к повреждению, она, вероятно, больше, чем неисправный вентилятор. Если, конечно, если в пыли содержатся металлические частицы, которые меняют всю игру.

Что делать? Очистите помещение, очистите серверы снаружи, зарезервируйте немного денег для более ранних замен в будущем.

Скорее всего, ущерб не подлежит судебному разбирательству. Та часть ущерба, которую вы можете доказать, вероятно, не стоит обращаться в суд. Вы можете попытаться получить некоторую компенсацию от арендодателя, возможно, уменьшенную оплату или около того.

— Posipiet
источник

То, что мы должны были сделать, не особенно полезно, но я согласен с пунктами, которые вы перечислили. Виновник в том, что я не знаю (пока), есть ли металлические следы в пыли. Другая потенциальная опасность здесь - отказ кондиционера, который может привести к влажному воздуху - который плохо сочетается с бетонной и / или минеральной пылью.

— Пауска

так как сайт читают многие другие люди, некоторые из которых могут приблизиться к строительным работам, то, что вы должны были сделать, это действительно очень полезная информация, немного опоздавшая лично для вас.

— Sirex

Это правда. Извините за то, что я был немного счастлив, мое настроение сейчас ниже среднего.

— Пауска

Я должен согласиться с этим. Мы устанавливали новые плитки для подвесных потолков, и в ходе этого процесса рабочие покрывали серверные стойки пластиковой пленкой. К счастью, я был там, и тепловые предупреждения генерировали оповещение по электронной почте, но без этого это было бы тостом. Как только серверы загрязняются твердыми частицами, их очень трудно обратить вспять, и побочные эффекты могут быть продолжительными и приводить к очень неуловимым проблемам.

— Грег Аскью