Лучший сисадмин WTF?

Вы уверены , что видели его своими глазами (или собираются) рано или поздно: этот ужасный проект / система / ситуация , когда - то был ТАК облажался вы просто не могу поверить , что на самом деле произошло , как это было.

Нерациональное? Misbudgeting? Недоразумение? Просто глупое, простое невежество? Назовите свою причину, это конечно произошло (и продолжает происходить много, к сожалению, смотрите здесь ).

Опишите это здесь, для развлечения (хотя и в некотором роде циничного) и обучения (надеюсь).

Некоторые правила:

• Это не место для случайных (даже если совершенно разрушительных) ошибок администратора, поэтому, пожалуйста, избегайте "argh, я неправильно набрал этот rm -r" или "OMG, я просто скопировал поврежденную базу данных над моим последним хорошим резервным копированием" (был там, сделал это) ; эти вещи лучше здесь . Речь идет о том, «какие именно лекарства оказались под влиянием того, кто разработал / внедрил эту систему?».
• Один WTF на пост, чтобы они могли правильно прокомментировать.
• Пожалуйста, опубликуйте то, что вы действительно засвидетельствовали :-)
• Если это был ты, кто это сделал, это все еще квалифицируется :-)

Я скоро добавлю немного материала, не стесняйтесь добавлять свой собственный; и сделайте пожалуйста :-)

Ответ по электронной почте от инженера службы поддержки Microsoft на сообщенную проблему:

«Что касается моего мнения по вашей проблеме, у меня есть одно слово: странно».

Золото!

Мне позвонили из компании, о которой я никогда раньше не слышал, и которой было поручено внедрить почтовый сервер Exchange 2003 для клиента, и я понятия не имел, как это сделать; ничего странного, правда? Я работаю в качестве внештатного консультанта, поэтому я прекрасно справляюсь с работой, которую вы не знаете, как сделать для вас (и получать за это деньги).

Поэтому я зашел на сайт клиента и обнаружил нечто довольно странное: каждый отдельный сервер в сети был контроллером домена ; все 15 или около того из них.

Затем я обнаружил что-то еще более странное: никто из них не копировал должным образом ни с каким другим, общее поведение Active Directory можно было описать только как «ошибочное», пользователи сталкивались с любой сетевой проблемой, которую вы можете себе представить, и Exchange просто отказался устанавливать с неизвестным человеческие ошибки.

Поэтому я посмотрел на конфигурацию сети на сервере и увидел ... что она использует общедоступные DNS-серверы интернет-провайдера. Затем я смотрю на другой сервер ... и это было то же самое. Тогда я смотрю на DC ... то же самое. Затем я спросил ... и это было официально подтверждено: каждый компьютер в сети (около 1500) использовал DNS провайдера вместо законного контроллера домена.

Я объяснил, что DNS достаточно важен для правильной работы Active Directory, и смог восстановить предысторию:

• Кто-то изначально правильно настроил домен AD, используя DC в качестве DNS-сервера для каждого компьютера.
• Он / она / она ничего не знал о настройках серверов пересылки и / или брандмауэра, поэтому компьютеры не могли разрешить общедоступные имена в Интернете.
• Так возникла идея использования DNS-серверов ISP на компьютерах; они настроили это на каждом из них.
• У них появилось много ошибок «не могу найти контроллер домена» (кто бы мог подумать?).
• Они думали, что проблема была вызвана нехваткой контроллеров домена, и продолжили продвигать каждый сервер на эту роль.
• Излишне говорить, что это только ухудшило ситуацию, поскольку эти новые контроллеры домена также использовали неправильные DNS, поэтому они также не могли реплицироваться.
• Это продолжалось месяцами , они просто «привыкли» к тому, что сеть совершенно ненадежна.
• Кроме того, они пытаются запустить установку Exchange, которая с треском провалилась; только тогда они решили вызвать какого-то внешнего консультанта, и до тех пор, пока они не поняли, что что-то совершенно не определено, они совершенно не правы в своих настройках сети.

Когда-то у меня был клиент, который был небольшим бизнесом (10 человек) с электронной историей болезни. (Не врач). Я заметил однажды, что резервные копии терпели неудачу. После тестирования ленточный накопитель не работал вообще. Я упомянул об этом владельцу, который сказал, что он хорошо знал, что диск был плохим, но был слишком дорогим, чтобы заменить.

Конечно - это не очень WTF.

WTF - это то, что его сотрудники ежедневно крутили ленту, переносили ее в сейф, и весь этот джаз в течение 6-9 месяцев с момента его смерти .

«Не говорите персоналу, это может беспокоить их»

Я работал системным администратором в Большом правительственном агентстве (одном из основных органов правительства Италии) и управлял их дата-центром в течение нескольких месяцев. Однажды вечером мой телефон звонит, и мой босс говорит мне, что происходит что-то очень плохое: полное отключение электроэнергии .

Хорошо, у нас есть ИБП, верно?

Да, но они не будут длиться долго, так что лучше иди туда и выключи все, пока власть не вернется.

Я иду туда, пробираюсь по темным коридорам, прибываю в серверную комнату ... и меня приветствует то, что можно описать только как чистый ад . Буквально. В комнате было так жарко, что в ней можно было испечь пирожные. Питание ИБП было в порядке, но половина серверов уже отключилась от перегрева, а остальные кричали в агонии.

Причина?

Серверы были на ИБП питания ... кондиционера не было .

Неисправность вентилятора HP ProLiant ML370 G3 ... Датчики на материнской плате этой модели, как правило, выходили из строя через 5 лет. Сервер не может загрузиться, если не обнаружена неправильная комбинация вентиляторов. Я должен был помочь клиенту быстро запустить машину в магазине (чтобы вентиляторы вращались при загрузке), и таким образом они поддерживали работу сервера до тех пор, пока я не смог прибыть с новой системой.

Раньше я был консультантом по бухгалтерскому программному обеспечению в бухгалтерии Dac-Easy. Однажды меня вызвали в главный офис местного предприятия, и бухгалтер сказал мне, что, если я не смогу решить, почему программа была полна ошибок учета каждый выходной, им нужно было найти другое приложение и консультанта. Просматривая файлы административного журнала, я обнаружил, что все записи обычно делались в пятницу или субботу. Затем я узнал, что жена владельца входила на компьютер системы учета из дома, используя PC Anywhere, и пыталась сбалансировать счета с помощью своей чековой книжки после нескольких бокалов вина. Как только цифры будут выглядеть хорошо, она выйдет из системы.

Я поднял компьютер, полученный в офисе нашей родительской компании, когда услышал, как что-то гремит внутри. Когда я открыл коробку, я обнаружил, что она наполовину заполнена замороженными мини-пшеницами. Я полагаю, что в ней жила мышь или использовала кэш с едой. Вероятной точкой входа стал зазор между корпусом и разъемом для клавиатуры DIN.

Не совсем то, что вы просили, а определенный WTF.

Другой клиент, другая ужасная история.

В основном посте я говорил о том, что ошибочно перезаписал хорошую резервную копию поврежденной базой данных, которую она должна была заменить; Бывает :-(

Таким образом, восстановление из резервной копии было необходимо. К счастью, есть на самом деле WAS дублера там: это было сделано в день, на центральном сервере резервного копирования с Really Big ленточной библиотеки прилагается к нему; этот сервер управлял резервным копированием для всей компании, он был действительно дорогим и на нем было установлено программное обеспечение Real Backup.

Все идет нормально. Мы ищем задание резервного копирования, загружаем соответствующую ленту, запускаем операцию восстановления, лента загружается, начинается восстановление ... и ничего не происходит.

Мы попробуем еще раз, кое-что.

Мы выгружаем, перезагружаем, перезагружаемся, пытаемся восстановить предыдущие резервные копии ... ничего не меняется.

Мы предполагаем, что продолжалась долгая операция, и оставляем ее на всю ночь ... на следующий день все еще ничего не меняется.

Хорошо, пришло время позвонить в службу поддержки Real Backup Software ... но это не может быть сделано, мы в воскресенье. Мы пытаемся найти сайт поддержки поставщика, но требуется специальный код доступа, и он есть только у одного менеджера ... тот же менеджер, который будет очень расстроен, обнаружив, что система все еще не работает в понедельник, когда он приходит на работу.

Еще один день боли, и я обнаружил, что ошибка хорошо известна, и она была исправлена ​​исправлением производителя, которое (очевидно) никто не потрудился применить. Поэтому я собираюсь применить его ... но это не может быть сделано: руководство не хочет рисковать, если поставщик не подтвердит, что патч можно безопасно применить; тот факт, что сервер резервного копирования не смог восстановить что-либо, явно не выглядел достаточно «сломанным» для них.

Только через четыре дня, различные звонки в службу поддержки и поставщик, отправивший инженера службы поддержки на месте, мы наконец смогли применить исправление и восстановить резервную копию; сервер резервного копирования не EVER был в состоянии сделать восстановления, но никто никогда не проверял, так что никто не заметил.

Эмуляция терминала для удовольствия и прибыли

Я работаю со старой системой - по сути, это набор текстовых терминалов, которые подключаются к Unix-блокам, а несколько компьютеров под управлением Windows просто усложняют ситуацию.

Несколько важных фактов

• Основное программное приложение использует собственный расширенный файл termcap. Общесистемные termcap и terminfo игнорируются.
• Основное программное приложение позволяет выбирать различные раскладки клавиатуры в соответствии с переменными среды.
• Все текстовые терминалы имеют программируемые клавиатуры.
• ПК с Windows подключаются с использованием проприетарного клиентского программного обеспечения без встроенной поддержки со стороны основного программного приложения.
• Запатентованное клиентское программное обеспечение позволяет выбирать различные раскладки клавиатуры под нагрузкой.
• Только половина персонала использует стандартную раскладку QWERTY.
• По крайней мере, одному, возможно, большему числу системных администраторов, которые работали в этой системе, не хватало должного понимания эмуляции терминала.

Я думаю, вы можете видеть, куда я иду с этим.

Были нерешительные попытки добавить надлежащую поддержку терминала в файлы terminfo и termcap, но они только частично функциональны. Запатентованный файл termcap, используемый основным системным приложением, работает, но в основном он не имеет значения, так как $ TERM никогда не устанавливается должным образом.

Входя в систему, каждый пользователь должен в основном выбрать, откуда он входит и какую раскладку клавиатуры он хочет использовать - автоматическое определение не требуется. Это установит $ TERM в ANSI, независимо от того, какой терминал используется на стороне клиента, и переменную среды, установленную таким образом, чтобы основное программное приложение переназначало некоторые ключи соответствующим образом.

В случае людей, использующих встроенную раскладку клавиатуры на текстовых терминалах, затем запускается скрипт для перепрограммирования некоторых клавиш во встроенную раскладку (как физически напечатано на самой клавиатуре), но не всех. На ПК с Windows загружается клиентская таблица ключей, чтобы переназначить большинство функциональных клавиш в ANSI. Невозможно переназначить их все, иначе некоторые другие клавиши перестанут работать.

Вход во что-либо еще с любого из терминалов является ошибочным упражнением и может быть разумно осуществлен только непосредственно на самом сервере. Поскольку все работает, трудно оправдать время и усилия, необходимые для его исправления. Но добавление чего-то более нового, чем 20-летние текстовые терминалы, с которыми мы сейчас застряли, по сути, потребовало бы переписать всю систему.

Я плачу немного внутри каждый раз, когда вижу это.

Я знал кого-то, кто решил реорганизовать файлы на своем компьютере, поместив все .exe в одну папку.

Сеть с ~ 60 ( шестью ) компьютерами.

Фанатик безопасности.

Некоторые новые коммутаторы с возможностями VLAN.

«План реорганизации сети», включающий ~ 20 ( ДВАДЦАТЬ ) VLAN.

Благодаря какой-то неизвестной высшей власти я ушел, прежде чем все это могло начаться ...

Мы дали одному из наших администраторов Unix окно Windows. Это произошло вскоре после того, как мы предоставили администраторам Windows блоки Linux для администратора, пытаясь расширить наши возможности в разных операционных системах. Как администратор Windows, стараясь не испортить свой Linux-ящик, я задал кучу вопросов команде Unix. Я ожидаю, что это было целью упражнения. После строгой лекции о том, что я правильно определил размеры всех томов и не помещал все в один том или в один раздел, я вышел и создал совершенно адекватную коробку, которая все еще работает в производстве два года спустя.

Когда парень из Unix, который дал мне лекцию о разных томах и не строил вещи так, чтобы полный диск мог сломаться, ОС создала свою коробку Windows, он положил все на C :. Когда я сказал: «Я не могу подкрепить это какой-либо политикой, которая у нас есть, и когда эти журналы заполнятся, ваш ящик рухнет». Он сказал: «Ну, я подумал, что это Windows, все на C: имеет смысл». Он не сделал еще один раздел на всех. Я был серьезно поражен этим. Абсолютно WTF вы думали, что-то вроде. Видимо, ему не приходило в голову, что некоторые лучшие практики одинаковы независимо от ОС.

Ответ Массимо напоминает мне о другом WTF ...

В небольшом офисе есть сервер Windows 2003 с Exchange, Symantec AV и т. Д. Компания обычно использует нас для выполнения всей своей ИТ-работы ... но этот новый отчаянный агент находится в офисе и купил новый ПК. У нас были они на унифицированной платформе Dell Optiplex, этот парень решил заменить 3 из них на «отличные машины», которые продавались в Best Buy.

Вне зависимости - им как-то удается присоединить его к домену.

Первый звонок:

Мы не можем найти мировоззрение. Машина пришла с Word (Microsoft Works), так что где все остальное.

Второй звонок:

Как мы используем сетевой антивирус?

Это ВТФ. Я пошел на место, и 7 из их компьютеров были настроены как Symantec Antivirus SERVERS вместо установки клиента. Видимо, джентльмену не понравилось, что мы заблокировали настройки клиента, и решил «переустановить» клиент, чтобы он мог изменить его при сканировании. По-видимому, первый компакт-диск для Symantec AV, который мы оставили, каким-то образом убедил его установить «сервер», а не клиент.

Клиент позвонил мне, чтобы помочь с некоторыми сборками сервера. Во время сборки мне сообщили, что это были сменные серверы для двух нижних из стойки. Я подумал, что это странно, что положение стойки уместно, и спросил, почему. Оказывается, серверная комната затоплена после прорыва водопровода, проходящего через середину.

Так что же делает водопровод в центре серверной комнаты? Ну, женская ванная комната находится рядом, а серверная комната удобно находится вне поля зрения. Какое лучшее место, чтобы положить основной корм в ванную?

О, это легко ...

У меня была установка системы Linux для компании, расположенной на складе в сельской местности Кентукки. Эта система является приложением учета / инвентаризации для организации. Я заменял сервер SCO 1998 года новым сервером CentOS 4. В результате я ожидал худшего, когда дело дошло до подключения и клиентов. Вы знаете, старые ПК, плохие кабели и т. Д. Я отправил на сайт новые коммутаторы, кабели, тонкие клиенты и т. Д.

Тем не менее, я не ожидал, что проводка "шкаф" будет в ванной ! На самом деле, кабели были расположены в пространстве над опущенным потолком прямо над туалетом. Это включало модем DSL, 10-мегабитный HUB и 66-блок для телефонов ...

Тот же самый клиент, вовлеченный в вещь DNS из ада.

Их сервер Exchange продолжал работать в течение многих лет и даже пережил некоторые сбои диска (спасибо, RAID, и еще, спасибо, резервные копии). Однажды, я был призван снова неродственными проблемы, и они сказали мне Мимоходом что - то были их беспокоят: несколько раз , прежде чем они обнаружили , все были в состоянии открыть весь остальные почтовый ящик; они думали, что это было странно, но ничего не делали, потому что они не знают, как это исправить, и в любом случае электронная почта работала, и (почти) никто не обнаружил этого.

Я был совершенно шокирован: все смогли открыть чей- либо почтовый ящик, и они подумали, что это ТОЛЬКО НЕСКОЛЬКО НУЖНО, и не потрудились сделать что-нибудь в течение ТРИ МЕСЯЦА . Любые обычные люди немедленно выдернули бы сетевой шнур с сервера, но не они.

Источник проблемы был ... странным: кто-то установил «Все / Полный контроль» на уровне организации Exchange в Active Directory, поэтому каждый сразу стал полноценным администратором Exchange; их единственная удача была в том, что мало кто это заметил.

На сегодняшний день никто еще не знает, кто на самом деле это сделал.

Работал программистом на полную ставку и администратором на полставки в небольшой компании, занимающейся программным обеспечением учета в офисе врача (читай: счета клиентов и страховые претензии). Получил звонок от крупного клиента, что их сервер не работает; Это был новый продукт под управлением Altos Unix SysV / 386. Так как я был всем, что они имели, они послали меня и новую девчонку.

Дошло, и там была комната, полная операторов ввода данных, набирающих документы WordPerfect так быстро, как только могла. Была длинная линия, выходящая из состояния, где другой набор операторов делал то же самое.

В каталоге документов содержалось около 10 000 документов, отличных от слова, все в одном и том же формате. ВСЕ В ОДНОМ КАТАЛОГЕ. Такой-то был ранен и страдает от такого-то. Похоже, что этот врач был адвокатом адвокатов, подающих иски о травмах.

Я попытался загрузиться с дискеты и получил только много ищущих шумов. Я вытащил дискету, и она была полностью покрыта паутиной, здесь я говорю о пригоршнях. Это был кабинет врача, поэтому я потребовал тампоны и алкоголь (это был единственный загрузочный диск Unix, который у нас был, и единственный шанс исправить ситуацию в этом сервисном звонке), и начал чистить дискету, диск и сервер.

Возникли две проблемы: одна была из-за того, что сервер был полон грязи в офисе с ковровым покрытием и в углу комнаты (на толстом плюшевом ковре), а в офисе с углом 80 градусов перегревался. Файловая система нуждалась в серьезном FSCK'е, и я разделил файлы 10K на новый набор алфавитных подкаталогов и предложил, чтобы они разбили его дальше.

Доктор был идеальной чертовой дырой, которая разорвала нас новой, когда мы вошли в дверь. Когда мы ушли, мы объяснили, что покупка опции WordPerfect for UNIX у нас не означала, что мы выбрали сервер для создания внутриконтинентальных документов; Кроме того, он нуждался в A / C, расположении сервера без ковров, ИБП, внешнем RAID и улучшенном протоколе хранения каталогов. Внезапно он был весь в ушах, потому что так он зарабатывал все свои деньги. Я передал всю информацию в отдел продаж, но вскоре ушел с работы по другим причинам.

Мой лучший WTF возник у моего нынешнего работодателя, когда я только начинал здесь.

Первые пару месяцев работы были связаны с постоянной паникой и ужасом, когда я обнаружил состояние серверов. На моем нынешнем уровне опыта я, возможно, только что порекомендовал поджечь это место и собрать страховку. Но самой лучшей частью была политика одной компании:

Не было никакого учета для клиентов коммутируемого доступа. У интернет-провайдера, который получил половину своего дохода от клиентов удаленного доступа. На самом деле это была политика, действовавшая уже около 6 лет к тому времени, когда я начал, и я просто поражался, что с этим ничего не было сделано. Стандартная линия звучала так: «Мы просто доверяем нашим клиентам, чтобы они не использовали слишком много». Тот факт, что это место работало с ограниченным бюджетом и в течение всего этого времени не было настоящего администратора на коммутаторе, не помогло, я не думаю.

Конечным результатом этой политики, конечно же, было то, что спаммеры в основном захватили пул коммутируемого доступа. Почти каждую ночь они использовали одну учетную запись для подключения к нескольким модемам, пока весь пул не был заполнен, а затем рассылали спам так быстро, как могли. Версия AAA RADIUS не помогла, потому что в то время не было быстрого переключателя «разрешить только одному пользователю за раз». Я вместе взломал что-то в Perl, чтобы отключить кого-либо с двумя входами в систему до тех пор, пока сервер RADIUS не будет заменен, и это решило эту проблему где-то в первую неделю или две. Частично другая проблема заключалась в том, что мне не позволяли иметь достаточно времени, чтобы что-то исправить (см. Ограниченный бюджет), поскольку в то же время я также занимался технической поддержкой. Но одна из причин, по которой я все еще здесь, заключалась в том, что я свободно управлял всем этим. Я не думаю, что я Мне действительно когда-нибудь говорили не идти вперед и реализовать какую-то здравую идею. Единственное ограничение, которое у меня когда-либо было, это деньги.

Десять лет назад я брал интервью у компании, у которой кабели основного серверного помещения выглядели как суп из спагетти. Сетевое оборудование находилось в 3 стойках рядом с углом комнаты размером 20 на 60 футов. Был каскад сетевых кабелей всех видов цветов, спускаясь по стойкам и заканчиваясь пулом запутанных кабелей шириной около 7 футов и проливающих около 5 футов от стоек. Там не было никакой документации, и никто не знал, что и куда.

Компания владела 95% рынка в сфере безопасности жизни и имущества. Все, что я могу сказать, это то, что это может дать реальную паузу.

Кстати, компания все еще находится в бизнесе и, видимо, с тех пор многое исправила.

Не так давно был в демарковском шкафу и нашел на сайте эту приятную установку:

Элитный оптоволоконный кабель = TWIST TIE

альтернативный текст http://locobox.googlepages.com/Fiber.jpg альтернативный текст http://locobox.googlepages.com/Fiber2.jpg

Несколько лет назад компания, в которой я работал, приобрела одного из наших конкурентов, и мне пришлось провести аудит их машин (Centos), чтобы убедиться, что они соответствуют нашим стандартам в отношении конфигурации (их системный администратор отказался от возможности присоединиться к нашей компании в в пользу создания собственной компании, которая разработала готовые решения).

В /etc/rc.local (дом всех великих WTF) я нашел:

swapon /dev/sda3

а также

route add -net 10.0.0.0 netmask 255.255.0.0 eth1

Примечание: eth1 был настроен в ifcfg-eth1 с маской сети 255.255.255.0

По-видимому, настоящие системные администраторы не используют эти файлы конфигурации, такие как / etc / fstab и / etc / sysconfig / network-scripts / *

Ранее в этом году мы наняли новую девушку. Меня попросили убедиться, что все фирменные шрифты были установлены на ее компьютере. Я знал, что они были, но решил выбрать мои сражения и просто установить их снова. Через 5 минут мне позвонила девушка, и она попросила меня прийти и показать ей, как использовать новое «программное обеспечение», которое я установил. Я подошел, открыл Word и показал ей, как менять шрифты ... это то, что я установил.

Эта девушка была доктором наук! Она больше не работает здесь, но не потому, что не знала, как использовать шрифты.