Серверы

Вторник после выходных, статистика системы аварий: в ауте два сервера и четыре АТС. Начинает бесноваться доменная часть сети, корпоративные приложения недоступны, ресурсы не находятся. При этом пользователи за доменом живут спокойно. Начинаются разборки в стиле «что, кто, где, когда».

Выяснилось, что задоменщики в файл хостов намертво привязали себе все необходимые ресурсы при переезде из одного домена в другой полтора года назад. В выходные сдох корневой DNS-сервер филиала (блок питания накрылся), о чём честно написал админу на старую почту (она в старом домене осталась и не переехала). Резервные DNS-сервера про ресурсы старого домена не помнят (а там много чего ещё в процессе переезда) и стали для доменных пользователей недоступны. Реинкарнированный сервер, забрав управление сетью, не смог обновить список хостов…

Уже неделю познаём дзен.

Прошлый вечер был на редкость хорош. Поставил долгожданную OS X Mavericks на свой макбук. Пока ставилась система, пил подаренный 15-летний Johnnie Walker Green Label. Читал анекдоты. Так захорошело, что одну фразу даже запостил на фейсбуке:

Самый лучший антистресс — сладкий сон и страстный секс.

Угомонился к трём ночи и заснул сладким сном в надежде на продолжение. А в семь утра упал очень-очень важный сервер, с которым я в жутком стрессе протрахался несколько часов.

Вот сижу — сонный, вымотанный. Вроде бы и сон был, и секс, но как-то не так я себе это представлял.

Сегодня был побит рекорд скорости передачи данных и ширины канала.

На меня свалилась не коробка с жёсткими дисками, как в многочисленных анекдотах и байках. Ни один здравомыслящий айтишник не станет их так хранить. На меня грохнулся чёртов серверный шкаф! Пять серверов, пять дисковых массивов, пара свитчей и роутеров. Подсчёты сделать, к сожалению, не могу, так как не помню наизусть и жду, пока мне закуют руку в гипс.

Многоуважаемые коллеги! Прошу вас: коли вы берётесь устанавливать серверные шкафы, хотя бы не смещайте центр тяжести на самый перед. Хотя бы из уважения к данным!

Проектируем SCADA-систему для строящегося завода на софте, лицензии на который стоят астрономическую сумму и будут закуплены ближе к вводу в эксплуатацию. Работаем удалённо на серваке, который специально для этого куплен. Вместе с системой он потом поедет на завод, а пока лежит в нашем кабинете.

Сервак мы выбрали надёжный. Восемь хардов, аварийная переконфигурация рейда в случае отказа харда, два камня с возможностью горячей замены, резервный блок питания. Казалось бы, всё для постоянной и непрерывной работы. И при этом каждый день я слышу фразу:

— Демо-версия кончилась, надо сервак перезапустить.

Ох, попадали бедняги-гипервизоры!
Ох, исчезли сервера из сетки офисной!
Ох, ключи забрали девочки коварные!
Ох, повыдергали технику железную!

Не учили их не дёргать на горячую,
Не учили ремеслу девчат айтишному,
А учили их железочки учитывать,
Переписывать с них циферки да буковки.

А учили их считать рубли-процентики,
А учили их вести себя с налоговой,
А учили их тому, чему айтишников
Не научишь и под дулом пистолетика.

Ты умеешь гипервизоры настраивать,
А девчата — гипервизоры подсчитывать.
Напиши, админ, на блейде номер спереди —
И не будет женский пол его выдёргивать.

Сидим себе спокойно в офисе, не спеша работаем. Внезапно падает два гипервизора со всем, что на них есть. Не обратили внимания: контроллер глючный, за ним это наблюдается, саппорт в курсе, ждём апдейтов. Но через некоторое время, как по расписанию, начали отваливаться хосты, ещё и ещё…

Сначала была лёгкая паника. Потом, когда начали падать сервера с клиентским софтом, волнение выразилось исключительно громким матом.

Товарищ отправился в серверную на разведку. Через пять минут вернулся, отказался сообщать причину падения и просто начал раздавать указания по подъёму всей системы.

А ещё через пять минут до нас снизошла «причина». Оказывается, в обход всего нашего отдела решили провести инвентаризацию. Неизвестным образом ключи от серверной оказались у милых девочек, которые на живую вытаскивали блейды из корзин, переписывали серийный номер и вставляли обратно.

В этом году в Израиле дату перехода на зимнее время перенесли так стремительно, что те, кому положено, не успели внести поправки в службы синхронизации времени. Пользуясь устаревшими сведениями, в ночь на 8 сентября 2013 года сервера в Израиле откатились на час назад. И зря.

Я в эту ночь завалился спать в 3:00. А в 7:30 меня разбудил клиент — менеджер новостного сайта.

— Поправь время на сервере, он откатился на час назад. Время публикации новостей отстаёт от реального на час.

— И ради этого стоило будить? Ну, пихнёшь ты новость о подорожании бензина в 11 часов, а на странице будет написано: «10:00». Кому от этого плохо?

— Ты не понимаешь. Бывают и другие новости. Если на израильском сайте появится статья «В Бейруте в 11 утра прогремел мощный взрыв», а время публикации будет 10, то мы не оправдаемся.

Работаю саппортом в дата-центре. Приходит тикет (клиент — реселлер, иногда админит своих клиентов):

— Перезагрузите сервер.

Перезагружаю. Через несколько минут:

— Он упал сразу после перезагрузки. Бутните ещё.

Перезагружаю. Некоторое время спустя пишут:

— Дайте IPKVM. Хочу понять, чего он всё-таки падает.

Подключаю, даю доступ. Получаю ответ:

— Благодарю, проблему обнаружил. Это Windows.

У меня дома в одной сети стоит системник, именуемый сервером, и ноутбук. Причём проброс портов настроен так, что доступ к ноутбуку из сети есть, а к серверу нет. Понадобилось клиенту скачать собственную утилиту с сервера, а он выключен. Wake-on-LAN работает только внутри сети. Была тут недавно такая история…

Решение пришло через минуту. У меня к ноутбуку подключена USB-ракетница. Я скачал из инета Radmin Viewer и зашёл на свой ноут.

Целимся в большую кнопку включения системника. Залп! Низко: забыли про гравитацию. Осталось две ракеты.

Целимся повыше. Залп! Ладно, не получилось.

Целимся очень осторожно. Победа, мы включили сервер!