Серверы

Стоит сервер в дата-центре, стоит себе, стоит и перестает пинговаться. Что я тогда сделаю? Нетрудно сказать. Для начала сделаю traceroute. Аплинк провайдера? Есть ответ. Датацентр? Есть ответ. Стойка? Тишина.

Пишу в техподдержку: номер договора такой-то, в 20:40 пропал пинг до сервера, IP-адрес такой-то. «Мне непонятно, что происходит — прошу объяснить.» Техподдержка просит позвонить — что же, звоню.

Что говорит мне техподдержка про моё оборудование? А ничего. Говорит зато про короткое замыкание в стойке и небольшой пожар, предлагает приехать, когда мне удобно. Когда мне удобно? Да хоть сейчас.

(Думаете, я от таких новостей обалдел, да? Так это ещё слабо сказано!)

Едем с другом до дата-центра, и нас встречает сотрудник, но сам ничего не рассказывает, на вопросы отнекивается - сами всё сейчас увидите. Что это может означать? Вот и мы так подумали.

И вот мы на техническом этаже, смотрим на "мою" стойку. С которой капает вода. Рядом с которой валяется обгоревший электрический чайник. На которой кое-где видны следы копоти. На моём сервере, правда, нет, а вот на циске в той же стойке очень даже. То есть и копоть, и вода.

И вот тогда сотрудник рассказывает нам всё: что в 20:00 в техпомещении делала уборку местная "баба Люба". И что делала она это не в первый раз. Но вы ничего такого не подумайте, чайку на рабочем месте она решила попить впервые! Чем ей глянулась именно это стойка, непонятно, но запиталась она именно от неё. Чайник коротнуло, а вместе с ним - фильтр и блоки питания включенных в него циски и сервера. Дым, гарь, зловоние, порча ценного оборудования. Нормально чайку попила баба Люба, да.

Ладно, с пожаром всё ясно, но откуда наводнение?

И сотрудник, натурально, разъясняет.

...отхохотавшись, мы забираем сервер и покидаем это безумное место, пообещав заехать за документами на расторжение договора позже.

Понимаете, когда из стойки завоняло горелой изоляцией, баба Люба решила взять аварийную ситуацию под контроль, локализовать очаг возгорания, — и вылила туда содержимое чайника.

Стоял в американском порту большой научный корабль, готовился к приемо-сдаточным испытаниям. Все на корабле было на совесть, с двойным запасом прочности: сервер телеметрии под управлением HPUX, еще один такой же в горячем резерве, плюс ленточка с полным бэкапом на всякий пожарный. Для пущей сохранности оборудования на борту постоянно дежурили два админа из русской команды - смена три недели, потом на берег. Дошла очередь дежурить и до меня. Узнав, что за сервера будет отвечать мой старший и более опытный напарник, я тихо порадовался — опыт работы с HPUX у меня был небольшой.

И вот мы поднимаемся на борт и заступаем на дежурство. Через некоторое время я вижу, как ложится основной сервер телеметрии. Выяснив, что система не поддерживает кириллицу, мой коллега решил исправить недостаток, что-то напутал, система продержалась 20 минут и легла.

Коллега, как я уже говорил, был старше и опытнее меня, поэтому я решил, что не вправе делать ему замечания. Зря он так, конечно, ну ничего, ситуация под контролем! Сейчас мой старший товарищ поднимет резервный сервер, восстановит из бэкапа основной, и все будет хорошо. Пока я успокаивал себя, напарник поднял резервный сервер и продолжил свои эксперименты.

Главное, что дает нам жизненный опыт - это умение предвидеть последсвия собственных ошибок. В ходе второй части эксперимента коллегу что-то насторожило, и он решил забэкапить уже надломленную систему (лучше поздно, чем никогда). К сожалению, для бэкапа он выбрал ту самую резервную ленточку.

Зачем нужна поддержка кириллицы на сервере телеметрии, работающем только и исключительно с потоками двоичных данных, напарник мне так и не объяснил. Сервера мы всё-таки починили, но для этого нам потребовалось несколько часов переговоров с Москвой по спутниковой связи (от пяти долларов за минуту и выше). Веру в безоговорочный авторитет старших коллег я потерял навсегда.

С возрастом, знаете ли, приходит не только опыт, но и маразм.

Работал я инженером-электриком в местном филиале одной очень крупной западной фирмы. Филиал наш только открылся, и вот из главного украинского отделения, находящемся в Одессе, нам прислали фирменный программный пакет для проектирования систем электроснабжения.

Программа разрабатывалась, по всей видимости, с досовских времен, к виндовому интерфейсу была адаптирована, но распространялась и устанавливалась без инсталляторов и серийных номеров — простым копированием папки с файлами. За соблюдением условий лицензионного соглашения следил специальный локальный сервер: если количество рабочих станций с запущенной программой превышало лимит, прописанный в файле лицензии, «лишних» пользователей из программы выкидывало.

Действуя по инструкции, мы установили программу на рабочие станции, запустили сервер лицензий... и обнаружили, что одесситы решили сэкономить на покупке дополнительной лицензии и прислали нам копию своего файла-ключа на два рабочих места. А у нас инженеров, включая меня, было трое. И работать надо было всем одновременно.

Для начала Федя (наш самый компьютерно грамотный инженер) взял hex-редактор, открыл файл лицензии и попытался увеличить лимит на количество запущенных копий. Сервер запустился, проработал минуту, увидел «лишнюю» рабочую станцию и выкинул меня из программы.

Я предложил поставить на свою машину файрвол, разрешить приём пакетов от сервера, а отправку заблокировать, чтобы сервер эту машину не видел. Сделали. Две другие машины работали нормально, моя потеряла сервер и работать отказалась. Естественно, не будет же сервер посылать пакеты тому, кого сам не видит.

Дальше были пляски с бубном. Мы запускали в хитрых очерёдностях сервер лицензий, прогу на разных компах, били в бубен. Мы позвонили шефу в Одессу, попросили купить нам нормальную лицению на три машины. Шеф напомнил нам о том, что экономика должна быть экономной.

В отчаянии Федя заново начал просматривать папку программы в поисках хоть какой-нибудь зацепки и нашел... файл-ключ на 16 рабочих мест, спрятанный в одной из подпапок каким-то запасливым админом.

Вспомнилось про кондиционеры.

У нас на работе на сервера очень большие нагрузки идут в течении дня, и поэтому в серверной стоят 2 мощных кондиционера. В один прекрасный день начал течь один из них. Вызвали мастеров, они поковырялись и сказали: "Не включать, нужно что-то менять". Ночью вырубили свет, и один из охранников решил проверить, как там дела с кондиционерами. Заметив, что один из них выключился, он поспешил его включить и удалился.

Наутро нами был обнаружен кондиционер с обледенелой передней панелью. Выключать его никто не решился т.к. после оттаивания кондиционер залился бы сам и залил серверную. Ремонтники никак не отреагировали на это. В итоге, к нашему бесснежному Новому году на стене красовался потрескивающий кусок льда.

После НГ всё изчезло. Первые мысли - техподдержка стояла и стамеской отбивало куски льда с этого бедолаги...

В нашей конторе мы стараемся давать имена серверам так, чтобы имя содержало информацию о железе и типе деятельности. Например, сервер производства HP используется в качестве SQL-сервера, значит будет называться HPSQL. Сервер производства IBM используется в качестве проксика, значит будет называться IBMPROXY.

Как-то под вечер инсталлится ОС на новую железку, и усталые админы пытаются придумать название сервера. Происходит следующий диалог:
- Ну что, как сервер назовем?
- "Наташа"!
- Ээээ... Мммм... Почему "Наташа"? У нас же все остальные серверы иначе называются.
- Бывшую подругу вспомнил, поэтому пусть будет "Наташа".
- Не покатит! В названии должна быть какая-то важная функциональная информация.
- Важная функциональная? Назови сервер "наташа, дает за пиво".

Навеяло историей #519.

Работаю в фирме, занимающейся, в том числе, поставкой железа юр.лицам. Здесь стоит указать, что сибиряки - народ специфичный, колоритный, а я в регионе новичок.
Под конец рабочего дня звонит солидный такой товарищ и говорит, что нас ему посоветовал его друг (и наш крупный клиент по совместительству). Договорились о встрече. Выяснилось, что этот господин хочет заказать сервер одной очень известной забугорной фирмы. Да и не просто сервер, а ещё и флагманскую модель линейки в максимальной комплектации.

На вопрос, с чем связан такой выбор, ответил, что знающие люди посоветовали. Попутно продаю стойку, УПСы, консоль, ну и так по мелочи. Заключаем договор на установку всего этого барахла. Через неделю с бригадой помощников приезжаю к заказчику на установку и настройку. Заносим всё в кладовку с гордой табличкой «серверная». И тут оказывается, что всё это великолепие технической мысли будет выпускать в интернет 2 бухгалтерских компа с клиент-банками, и дальнейшее расширение парка пользовательских машин не планируется. Уходя от клиента, даже мои помощники, не разбирающиеся в компьютерах, плакали со смеху.

В этой истории даже не столько юмора, сколько информации, подлежащей мотанию на ус.

Дело в том, что пришлось нам недавно решать проблему с одним из серверов, ибо повадился он каждую ночь примерно в 2.25 с разбросом в пару-тройку минут выключаться. При этом в течение всего дня сервер работал вполне исправно.

Первое, что приходило в голову - отключение подачи напряжения. В общем-то небольшой разброс во времени вполне укладывался в эту стройную теорию. Провели беседу с людьми, работающими по ночам. Свет горит всю ночь, никаких рубильников они не выключают.

Вторая мысль была, что какое-то из приложений, подлежащих ежедневному запуску, имеет включенную опцию "выключаться после завершения". Проверили все, никаких подобных задач на такое время не запланировано. Грешили на антивирусную проверку, которая запускалась ежедневно в 1.00, но там такая опция была отключена.

Долго думали.

Разгадка была банальна. Между кулером и процессором подсохла термопаста. Во время работы в штатном режиме охлаждения было достаточно, но во время антивирусной проверки температура процессора начинала постепенно повышаться и примерно за 1 час и 25 минут работы достигала критической, при которой BIOS во избежание повреждений автоматически отключал системник к чертовой матери...

Работал в компании, занимающейся разработкой web-сайтов системным администратором, поддерживал серверную ферму. Был у нас среди прочих сервер, который по историческим причинам отдавал часть http-контента с нестандартного порта.

И вот, приходит однажды мне абьюз на этот сервер с комментарием "вы нас взламываете" и вложенным в аттаче немаленьким архивом. Распаковываю архив и внутри нахожу вордовый файл, открываю файл и вижу вложенный в файл скриншот экрана в большом разрешении и посреди этого скриншота открыто окно winroute в котором как раз наличествуют подключения с этого нестандартного порта.

Сегодня переносил файловый сервер на новое железо.
Все даные перенес, настроил, подключил, подключил. Пошел забирать старый, а он оказался старым классическим Chieftec'ом на колесиках со "стояночными тормозами".
По инструкции выдерживают по 250 кг каждое.

Хорошо, что шеф не видел, как админ медленно выезжает с серверной и едет через весь этаж в отдел на сервере со всеми личными документами конторы, с почтовыми базами, сайтом, форумом и прочей высокополезной информацией, как на самокате.