Серверы

Месяц назад мы с начальником нашей фирмы-интегратора ездили в процессинговый центр инсталлировать в ЦОД систему хранения данных. Инсталлировали-инсталлировали, пришло время обеда. Сходили пообедали, возвращаемся обратно. Мне, пардон, понадобилось в туалет. Туалет рядом с серверной. Я говорю начальнику и SAN-администратору центра, который был с нами: «Я забегу, а вы меня подождите. Я тут в первый раз, никого не знаю, внутрь закрытой серверной потом не попаду». Кивнули. Зашёл, выхожу — естественно, в коридоре обоих нет.

Стою перед серверной. Вход в неё, понятное дело, по электронным ключам, мобильник внутри остался. Стучать в металлическую дверь как-то некошерно, да и шум там внутри немаленький, помещение большое — не факт, что услышат. Ловить кого-то и спрашивать, как в серверную попасть, неловко, да и опасно может быть: режимный объект, как-никак.

Смотрю — возле двери серверной кнопка какая-то без подписей. На электрический рубильник вроде не похожа, на сигнализацию тоже. Думаю, может, звонок? Нажал. Фух, открывает дверь админ.

— Интересный способ дать о себе знать!
— А что я сделал?
— Освещение выключил-включил.

Пронесло.

Большая коммерческая контора. Деньги на IT выделяются с переменным успехом — то на всём экономят, то выделяют на всё подряд после крупных «залётов». Имеется серверная с горячим резервированием серверов, питания, свитчей. В шкафах по два UPS на 3–6 КВт. В подвале APC Symmetra мощностью под 100 КВт. Нагрузка строго только на серверную и админские компы. Никаких левых розеток, никакой оргтехники в нагрузке. Идиллия.

Жаркий летний день. Серверная наполняется визгом UPS в стойках. Одновременно сдыхает система кондиционирования. Symmetra зафиксировала перегрузку и штатно вырубила подачу напруги, встав в ожидание. Мы бегаем от стойки к стойке, ищем пути снижения нагрузки, вырубаем горячие резервы, бэкапы. Всё это в нарастающей жаре: 50, 55, 60… По тайм-ауту Symmetra врубается. Нагрузка снижена, всё, что осталось, вроде живёт.

Начинаем вытирать пот и переводить дух. Длится это пять минут — затем резкое увеличение нагрузки и отключение. Поиски того, что можно выключить, затем включение. Цикл повторяется пять раз. В итоге работают только основные сервера — интернета нет, почты нет. Начинаем разбираться.

В этот день закончили монтаж десятка новых кондиционеров, дабы повысить лояльность сотрудников. Подключили их, само собой, на самые новые и красивые провода и разводки. С каждым разом включить свой кондиционер удавалось успеть всё большему количеству юзеров.

Разрабатываю высоконагруженный сервер. Должен выдерживать до 10 000 пользователей. Соседний отдел разрабатывает клиент под это дело.

Выясняется, что я живу в совершенно другом мире, чем мои соседи: у них до фига оперативки и процессорного времени. У меня же… Что будет, если процессор о шести ядрах по 3 ГГц поделить на десять тысяч? Правильно, почти два мегагерца в секунду, даже не 8086-я машинка. А ставить кластер мне просто не дадут.

С оперативкой чуть более терпимо: мегабайта на юзера должно хватать. А вот с каналом хуже: 100 Мбит/с, то есть не более 10 Кбит/с на юзера. Времена первых модемов. А клиент будет эти данные слать пачкой и ёрзать по стулу в ожидании ответа.

Внимание, вопрос: как объяснить соседям, почему нельзя делать сериализацию каждого чиха в XML?

Случилось поработать в одной крупной забугорной конторе, которая аутсорсит другие не менее забугорные и крупные конторы. Есть такая штука — ITIL называется. Так вот, согласно этому самому ITIL, все действия IT-специалиста должны быть регламентированы. Правда, иногда это работает против самой системы. Мозги ведь никто не отменял, и слепое следование инструкции может приводить к глупым ситуациям.

Пришёл тикет от автоматической системы мониторинга о том, что на одном из серверов в одном из дата-центров крупной конторы отвалился винт из RAID. Вы думаете, что я просто позвонил техникам в дата-центр и попросил их заменить винт? Ага, щас… По инструкции полагается:

1. Написать письмо тётеньке совсем из другой страны, чтобы она сообщила, с кем можно связаться в том дата-центре.

2. Позвонить представителю вендора сервака в стране, где располагается датацентр, сообщить ему контактные данные человека, который сможет открыть ему дверь и провести до сервака, а также спросить мыло, чтобы выслать заявку и логи контроллера.

3. Позвонить в датацентр и попросить пропустить специалиста.

Но и это ещё не всё. Как говорится, гладко было на бумаге, да забыли про овраги.

Тётенька по непонятным причинам писала ответ полтора дня. После этого я позвонил представителю вендора. На том конце провода попался вменяемый чел: просмотрев логи, он предложил нам попробовать просто-напросто передёрнуть винт, так как, вероятнее всего, отошёл контакт.

Последовала эпопея налаживания связи с техниками датацентра. Позвонил, говорю: «А не могли бы вы подойти к такому-то серваку и передёрнуть такой-то винт?» Мне отвечают: «Можем. Пишите заявку». Написал. Через несколько часов пришёл ответ «Ваша заявка выполнена». Захожу удалённо на сервак — работает, родной!

Так операция, на которую уходит от силы минут пятнадцать (десять из них — подняться со стула и дойти до нужного этажа), продолжалась два с половиной дня.

Предприятие среднего уровня. В процессе монтажа видеонаблюдения нам выделили небольшое отдельное помещение. Серверной назвать тяжело, но функциональное назначение именно таково. Трудятся там три сервера видеонаблюдения (около сотни камер) и системы турникетов и учёта рабочего времени (специально разделили для надёжности), пара свитчей по 24 порта, мини-АТС, сервера бухгалтерии, прокси, блоки питания камер, CDMA-терминалы и еще куча всякого оборудования.

Боремся за повышение надёжности. Сервера разделены, питание идет от двух упсов (онлайн и смарт), АТС имеет ещё и собственные аккумуляторы. Два независимых ввода силового питания с АВР, кондиционер. Помещение обшито металлом и закрыто на замок, ключи только у охраны и у меня. Всё работает стабильно, но ничего не может работать со стопроцентной надёжностью.

Не помню, какой из компьютеров сбойнул. Звонит мне охрана. Обьясняю: надо пойти в серверную и перезагрузить сервер на второй сверху полке. Задачу передают человеку, который понимает, что жать. Кладу трубку. Через десять минут перезванивают: «Всё, заработало». Попутно слышу какой то разговор, спрашиваю, что там такое.

— А, девочки из бухгалтерии забегали.

В душе какое-то странное чувство.

— А вы какой сервер перезагрузили?
— А мы всё перезагрузили!

Как потом выяснилось, часть не перезагрузили, а выключили.

Помните следствие закона Мёрфи? «Если четыре причины возможных неприятностей заранее устранены, то всегда найдётся пятая».

Я системный администратор. Я знаю SQL и базы данных. Нет, я не буду править в хексе покоцанную базу данных 1С.

Я умею ставить Windows. Я умею использовать кряки и кейгены. Нет, я не буду их использовать. Я вообще сейчас принципиально ставлю только свободное ПО. Хотите Микрософт Офис? Купите его. Дорого? Извините, но ставить вам ломаный я не собираюсь.

Если я настроил вам компьютер, это ещё не значит, что я взял вас на гарантийное абонентское обслуживание бесплатно. И не надо мне звонить в три часа ночи и плакать, что у вас не работает ADSL-модем.

Сгорел южный мост? Меняйте материнку. Я дал вам бумажку с приемлемой для вас конфигурацией. Дорого? Извините. Нельзя ли как-то иначе? Нет, нельзя. Я не буду покупать для вас материнку, а ставить новую буду только за отдельную плату. Не нравится — зовите кого-то другого. Вы не знаете, что такое конфигурация? Покажите бумажку в магазине, консультант всё подскажет. Он за это деньги получает. Я не буду за сто рублей полчаса рассказывать, что такое компьютер и как с ним работать. Купите книжку.

Предприятие настолько бедное, что не может купить серверную ось? Нужен домен, прокси, почта и сайт? Не вопрос — FreeBSD + Samba + OpenLDAP, Apache + PHP + MySQL, Postfix + Postfix Admin, Squid SAMS. Что? Кто всё это потом будет обслуживать? Знаете, проблемы индейцев шерифа не волнуют.

Я знаю, что линукс в нашем райцентре знают человек десять, а «фрю» — человека полтора. Не нравится — ищите специалиста в областном центре. Что? Ему нужна высокая зарплата? Какое совпадение — мне тоже! Поэтому я работаю в областном центре и получаю в пять раз больше, чем вы хотели предложить мне.

Иногда приходится сужать свою специализацию, чтобы спасти свой мозг.

Стояла себе в серверной пара стоек с нормальным железом и несколько старых напольных серверов, каждый со своей клавой, которая лежит сверху системника, как шапка. И монитор один на всех.

В серверную приходится заходить нечасто, но однажды странный глюк Win2K, крутящейся на одном из стареньких серверов, заставил туда заглянуть. Выглядело так: если зайти туда Радмином, не отрабатывали клацания по ярлыкам, менюшки открывались на миг и исчезали, в то время как в терминальной сессии всё работало отлично, без глюков. Отправил в перезагрузку — винда не поднялась.

Пошёл на сервер глазами посмотреть. Оказывается, недавно понадобилось охранникам разместить своё видеонаблюдающее оборудование. Пришли монтажники, по-быстрому повесили шкаф над рядом тех самых напольных серверов и ушли. То, что пыль и бетонная крошка сыплются из дырок, их абсолютно не волновало. Пыль равномерно покрыла все поверхности в серверной, а малюсенький бетонный осколок прицельно попал в клавиатуру, заклинив клавишу Esc.

Фирменные стойки Avaya полной высоты имеют неразборный каркас и в стандартный советский грузовой лифт не входят. Вариантов два: либо пилить пополам и потом сращивать (предусмотрено производителем, кстати), либо тащить по лестнице ручками — самое удовольствие на восьмой этаж.

Фирменные стойки Cisco Systems иногда требуют доработки при помощи отрезной шлифмашинки (в миру болгарки) и сварочного аппарата.

Фирменные стойки Andrew (есть такая американская фирма, выпускает земные спутниковые станции и 33 удовольствия к ним) вообще не совместимы со стандартным крепежом (вместо посадочных мест под гайки — две полосы с резьбовыми отверстиями по бокам) и часто требуют раздвигания ломом, чтобы стандартный 19-дюймовый корпус в них лез.

Фирменные стойки Motorola — это Andrew, вид сбоку, только все крепёжные винты имеют дюймовую резьбу и шлиц не Phillips, а звёздочку.

Но круче всех в этом вопросе немцы, в частности, фирма Knurr. Для «облегчения» обслуживания и замены оборудования вместо стандартных отверстий под квадратные гайки с пружинами в них сделан вертикальный профиль под свои фирменные гайки (наподобие алюминиевого карниза, только по вертикали). Как следствие — добавление одного модуля в середину стойки требует откручивания всех модулей выше или ниже (смотря куда ближе) и продвигания нужного количества гаек к нему (см. тип буфера «очередь»). Во что в таких условиях превращается прикручивание модуля не в стандартное место, а, например, сбоку или со сдвигом вглубь, просто неописуемо.

А вот польские стойки, хоть и кривоваты и не так красивы, зато настраиваются практически под любую глубину, оптимизируются под нужные 19 дюймов (у разных производителей оборудования понятие «19 дюймов» может расходиться до полутора сантиметров) и совместимы практически с любым крепежом.

Звонок от начальства не предвещал ничего хорошего и не оставлял вариантов действия:

— Срочно зайди в серверную.

Прибежав, застал коллегу и начальство в раздумьях. Этажом выше что-то протекло в химической лаборатории, причём в очень больших количествах. К счастью, водонепроницаемый натяжной потолок это что-то удержал от немедленного стекания в вычислительный кластер, но при этом натянулся. В прямом и переносном смысле над стойками нависла угроза протекания сотни литров неизвестной жидкости.

Решение всё-таки нашли: в соседнем подвале одолжили козлы, пластиковые трубы и поролон, которым обмотали концы труб. Коллега залез на козлы, упёрся смягчёнными поролоном концами труб в провисший потолок, а мы с начальником везли парня на козлах, чтобы заставить основную массу жидкости слиться в угол, где потолок проткнули и слили подозрительно пахнущую химической лабораторией жидкость в канализацию.

С тех пор пользователям не говорим: «Залейте данные на кластер». Только «скопируйте»! А то поймут буквально…