ИБП

Все помнят сказку про волшебный горшочек? Я вчера испытал её на себе.

Утром, оказавшись в неприятной ситуации из-за отрубившегося накануне вечером УЗО в серверной (бесперебойники отработали, но на двенадцать с лишним часов их, конечно, не хватило) в положении того самого мужика, над которым грянул гром, я решил настроить уведомления по почте и SMS о подобных каверзах. Сначала полез в ZenOS — он превосходно собирает кучу инфы со всей сети по SNMP и генерит кучу отчётов, некоторые из которых я решил направить себе на гмейловский аккаунт. Отрубаю UPS — фиг, молчит ZenOS, как партизан, хотя событие произошло и в его базе появилось.

Поковырялся ещё, в процессе применил свой любимый метод тестирования: включил информирование вообще на все события, полагая, что если и тогда ничего не произойдёт, то ошибку стоит искать где-то ближе к почтовому серваку. Ничего не произошло, но тут мне подсказали, что можно настроить уведомления непосредственно с серверов, контролирующих «упсы» — и точно, старый добрый PowerChute с этой задачей справился, и я, довольный, вернулся к рутинным админским делам.

А вечером случилось оно. Уж не знаю, почему именно — скорее всего, коллега перезагрузил сервак с ZenOS, — но оно попёрло. В половине десятого я уехал за женой на каток, в десять мой коммуникатор уже безбожно тупил, пытаясь сообщить о трёх тысячах новый сообщений в ящике. Пока он загружал текущие заголовки, сваливались новые... Горшочек, не вари!

К полуночи я знал, что у меня есть пять с половиной тысяч событий разной степени важности, к двум часам ночи их число перевалило за семь тысяч. Конечно, добравшись до десктопа, можно было поставить фильтр на сообщения и удалять их без прочтения. Можно было залезть по VPN на работу и отрубить злобного спамера. Но у меня взыграло любопытство: решил проверить, сколько же всего горшок наварит, пока я сплю. Сегодня утром насчитал одиннадцать тысяч сообщений с одинаковым заголовком и отправителем.

Перед запуском чего-либо думать надо трижды. Дважды — мало, хотя тоже ничего: подумав дважды, я не стал включать информирование по SMS. Страшно представить, как бы я чистил входящие сообщения на телефоне...

Не так давно был у меня в общаге конфликт. Что-то мы крупно не поделили с одним человеком, дело дошло до угроз физической расправы. Оппонент обиделся и пробормотал: «Дождись только грозы». Чуя задним местом неладное, я на всякий случай подключил свою машину в комнате к бесперебойнику. Дело в мае, грозы частые — и вот приближается очередная. Без задней мысли работаю за компом. Слышится подозрительный хлопок — гаснет интернет, через несколько секунд бесперебойник издаёт писк, и гаснет уже компьютер. В шоке встаю, выхожу из комнаты и вижу картину: из свитча выдран один хвост, откушен и зачищен, а к нему присоединена хитромудрая конструкция из клемм-крокодилов, запитаная 220 вольтами от того же свитча. Ну, думаю, попадись ты мне только, товарищ, ты мне и за пожжённый комп ответишь, и за оскорбления!

Обесточив витую пару, возвращаюсь в комнату, дабы оценить масштаб повреждений, и впадаю в ступор: бесперебойник мигает лампочками «работа» и «сбой» одновременно, компьютер жужжит, интернета нет, но как-то неправильно нет. И тут до меня доходит.

Будучи человеком невероятно педантичным, во время установки ИБП я не поленился ещё и воткнуть сетевой хвостик в грозозащиту. Предохранители, конечно, погорели, но в остальном бесперебойник выдержал подобную атаку — а я после целого детектива имел с обидчика возмещение сетевухи (так и не сгоревшей).

Офис, в котором я работал, страдал от кратковременных перебоев питания — из-за этого вставала работа отдела продаж из четырёх человек. Для решения проблемы генеральный директор принял решение купить резервный дизельный генератор.

Представьте: на балконе офиса тарахтит генератор, сжигая нефтепродукты, которые по прогнозам учёных закончатся через 30–40 лет, выбрасывает в атмосферу выхлопные газы — и всё для того, чтобы четыре человека поиграли в Doom II!

Утром кто-то включил чайник — вырубилось электричество, и у начальницы юристов сдох ИБП. Пишу письмо в поддержку (абсолютно без задней мысли): «Чайник убил бесперебойник, поменяйте».

Подходит начальница и строго так: «Ты кого имел в виду под чайником?»

Прочёл я прикол, что у всех провайдеров при падении инета в каком то районе должна включатся сирена со словами: «Внимание, всем админам выйти из игр и срочно переключится в консоль — без интернета столько-то абонентов». Смешно и просто: за вечер я сваял и отладил подобную прогу, благо у нас в офисе все свитчи управляемые — привязал к пингам на свитч и на контрольную машину. Но простого сообщения мне мало было. Если что-то падало, комп говорил мне человеческим голосом, на каком этаже, на каком узле, какой отдел к нему подключён и сколько человек лишилось сети.

Было удобно. Первый месяц пользовался так, потом доработал: если падало более одного клиента, комп выдавал: «Готовь вазелин в связи с...» — и далее по тексту. Если же связь терялась со всеми объектами, комп сообщал: «Ну всё, чувак, тебе п@#$%ц — все умерли».

Лучше б я этого не делал. Плановое отключение питания я предвидеть не мог. День Х, я на обед вышел, и тут электрики с мыслью, что в перерыв они никого не побеспокоят, отключают свет во всем здании.

Мой комп со всем барахлом висел на толстом-толстом упсе и оказался последним оставшимся в живых. Как вы думаете, что слышали люди, проходившие в темноте мимо моего кабинета?

Когда я вернулся, многие посоветовали сменить рингтон на телефоне — мало ли где зазвонит.

Сижу, никого не трогаю, BIOS перепрошиваю. Делаю это всего-навсего третий раз в жизни — нервничаю прилично, системник не мой и стоит хороших денег. Перепрошиваю без упса — просто нет его в наличии. Всё время перепрошивки (около минуты) сижу и молюсь, чтобы свет не мигнул.

Полоска прошивки доходит до 100%, и выскакивает красное окошко. У меня аж сердце дрогнуло! Вчитываюсь: «Successfully completed, your system will restart in 5 seconds». Уф, отлегло.

Уважаемые китайцы и прочие индусы, неужели так тяжело окно об успехе сделать синим или серым? А то парочка седых волос сегодня точно добавилась...

Один из бесперебойников в моей серверной иногда сходит с ума то ли от скачка напруги в сети, то ли ещё по какой ведомой только ему причине. Когда это происходит, ИБП издаёт характерный «пик» — мол, хозяин, я тут соскучился без твоего внимания.

Так вот, слышу я писк. Ну, думаю, сейчас само пройдёт. Нет, пищит всё равно. Встал, подхожу, на индикаторе мигает красная лампочка — батарейка, дескать, в ноль разряжена, сейчас помру. Я руками всплеснул: «Бедненький...» А он — опа! — и зелёным загорелся, батарея 70%. Техника, оказывается, тоже внимание любит.

Настраиваю шлюз IP-телефонии. Всё делается из терминала, выглядит и работает практически как Cisco. Вроде всё настроил, проверил — работает. Набираю wri conf, чтобы записать настройки, нажимаю Enter — и одновременно с этим гаснет свет во всем здании.

Ясное дело, бесперебойники удержали всё оборудование, но первой в голову пришла мысль: «Вот это я накосячил!»

Звонок из филиала, расположенного в другом городе:

— Алло! У нас ничего не работает!
— Так, а что случилось? Что именно не работает? Какие ошибки?
— Все работало, а вдруг ничего не работает! У нас тут клиенты орут — сделайте что-нибудь!
— Скажите номер рабочего места.
— ***.

Открываю VNC — не cоединяется. Лезу по SSH — нет соединения с рабочей станцией. Пингую их сервер — не пингуется. Проверяю у себя: все три провайдера прекрасно работают, VPN-сервер уверенно держит соединения с остальными филиалами. Запросов же на соединение от злополучного филиала не поступало за последние десять минут. В голове начинают крутиться странные мысли. Я не верю в чертовщину и понимаю, что собственноручно настроенный линуксовый сервер не мог никаких сюрпризов преподнести. Соображаю, что же делать дальше. На том конце трубки — недоброе сопение и попытки меня всячески подогнать.

На машинах особо грамотных работников есть ярлыки от bash-скриптов, которые при запуске выводят окошко с некоторой информацией о доступности сети, работоспособности ключевых узлов и месте на диске. Сделано это, чтобы облегчить работу саппорта в подобных случаях. Прошу запустить ярлык:

— Запустите, пожалуйста, ярлычок с машинкой «скорой помощи», и прочитайте мне, что написано в строке N и M.
— О господи, ну я же говорю, что у нас ничего не работает!
— Ваш компьютер не работает? А соседний?
— Ничего у нас не работает!

Меня начинают посещать смутные сомнения. Сервер не работает, машины не работают. Что бы это значило?

— Свет-то у вас есть?
— Света нет. Полчаса назад выключили!
— Так а что ж я сделаю? Звоните своим электрикам — пусть они вопрос решают.
— Электрикам звонили. Говорят, трансформатор сгорел, до завтрашнего дня света не будет. А нам как работать? У нас клиентов море! Да, и почему как свет выключили, всё работало почти час, а теперь нет? Я знаю, вы можете! Включайте нам скорее компьютеры!
— Понимаете, когда свет выключили, компьютеры работали от бесперебойников, пока не сели аккумуляторы. Потом компьютеры выключились. Пока не дадут свет, ничего работать не будет. Вы инструкцию читали? И что, у вас ни разу свет не выключали до этого?
— Ну, а как зарядить аккумуляторы?
— Когда включится свет, они сами зарядятся. Ничего самими делать не надо.
— Нет, я так не могу. Я понесу бесперебойник домой заряжать.
— Нет, этого делать я вам не разрешу.
— И что же, мы сегодня больше работать не сможем?
— Нет. Закрывайте филиал по техническим причинам.
— А что я людям скажу, они же очередь отстояли?

Кладу трубку. Вздыхаю, откидываюсь на спинку кресла. Мобильный телефон радостно вибрирует и пищит от входящего SMS. Открываю: cообщение от системы мониторинга Nagios о том, что в этом самом филиале выключили свет. Следом еще две сообщения о том, что батарея на сервере разряжается и сервер выключается.

Вовремя! Спасибо любимому сотовому оператору. Добавляю в Nagios оповещения через джаббер.