Серверы

Работал дежурным сисьобнимом в достаточно известной розничной сети в 2012-м. График — сутки через трое. Обязанности распределены: сетями занимается один отдел, инфраструктурой — наш, приложениями — другой.

Ничто не предвещало беды. Как обычно, на смене в 20:00 надуваю матрац, достаю подушку с одеялом, прогуливаюсь до «Седьмого континента» с целью замешать себе снотворное (кола + виски или кола + коньяк — зависело от удалённости от дня зарплаты; если совсем далеко, а в кармане финансово-половой кризис, то вообще не ходил). По возвращении наблюдаю до хрена писем от SCOM. Тихо фигею — поначалу даже без мата. Склад, работающий ночами, разрывает телефон, XenApp работает нормально, VMware-кластер работает тоже норм. Паника. Я в первый раз не понимаю, что лажает.

Эскалация. Проверка всего и вся по сетевому и инфраструктурному отделу. Нуль, причины неизвестны.

Позже я упомянул в очень нецензурной скайп-конференции, что разворачивал виртуальный сервак на ESXi с определённым айпишником. Механизм поиска свободного адреса в подсети для виртуалок был прост: пингануть — не отвечает, nslookup — без ответа, значит, свободен.

Развёртывая тестовый сервак, я занял IP сиськовского пятитонника. Но, как выяснилось, я был не виноват. У дежурной смены просто не было списка критических для работы IP.

Мораль такова: инфраструктурщики должны дружить с сетевиками и знать, какие IP заняты под сетевое оборудование, и их лучше не трогать. И ещё: пилите виртуалки только по профилю, созданному архитектором, с IP, именем сервака, VLAN и т. д. Предотвратит множество проблем.

А как-то, помню, у нас Nexus навернулся, который за всю виртуальную среду отвечал по сетевой части. Но это уже другая история, смазанная вазелином и благоухающая ароматами раскалённого паяльника…

Сегодня скончался сервер. Заведовал он системой КПП хрен знает с какого года. Ну, знаете, есть ключ-брелок, подносите его к считывателю, и дверь либо открывается, либо нет — зависит от ваших прав и настроек замка.

Пошли сервер искать. По теории, искать его надо в серверной, но ку — все серваки весело моргают лампочками, говорят, что у них всё окей.

Дальше начали подключать логику. Вскрыли замок. Заходит на обычную витую пару, внутри у него обычный эзернет, датчик и питание. Всё жутко старое, но надёжное.

Думаем логически: все эти кабели заходят на свитч. Свитчей — как грязи. Проверять все пять корпусов — это несколько дней работы.

Думаем логически: если подносят карточку, то этот парень посылает кому-то сигнал. Включаем в свитч с замком ноут, запускаем Wireshark, смотрим. Облом-с. Широковещательная рассылка по UDP, но с контролем: не получив ответа, замок ещё пять секунд тщетно шлёт пакет в никуда.

В свете здравых идей рождается мысль посмотреть, где жила админская раньше и нет ли там какого агрегата. Потом рождается ещё одна идея: есть же программка с правами, можно посмотреть, куда она отсылает данные.

Разбились на две группы и побежали проверять оба варианта. Я отправился смотреть, с кем связывается программка. Жутко старый софт, работающий только из-под Досбокса, тем не менее, связывался с айпишником, а не по широковещательной. Дальше всё легко и просто: смотрю в базу серверов, ищу нужный мне IP…

Охреневаю. Зову всех посмотреть на запись в базе и прочитать её вслух. Запись гласит: «Компьютер охранной службы. Расположение: охранный пост №  1». «Гм…» — говорим мы все хором, и я иду смотреть на это диво.

В комнате охранников есть лежанка, стул, сервер охраны с камерами (оказалось, не тот), и всё. Полчаса поисков дали неожиданный результат: лежанка кому-то показалась слишком короткой, и её придвинули к непонятной коробке с огоньками. Кстати, кнопки Power и Reset на блоке отсутствовали.

Вскрываю. Сервер охранной службы — старый добрый х386. Все кулеры на нём давно встали, но так как грелся он лишь чуть, то, в принципе, не страшно. А умер комп по банальной причине: таракан залез в БП и коротнул.

Теперь эта программка крутится в Досбоксе на одном из наших серверов, соответствующая запись сделана в базе. Оказалось, старичок прожил на одном месте с 1997 года. Мать этого героя теперь висит в админской с надписью: «Я проработал 17 лет в самых жутких условиях. А вам слабо?»

Есть такие процессоры — Niagara. Даже не сомневаюсь, что большинство так называемых айтишников сейчас полезут в Гугл смотреть, что это за зверь и почему они про него никогда не слышали.

Это была такая крутейшая для своего времени линейка процессоров от Sun, многоядерных, которая в сочетании с многопроцессорными серверами и операционкой Solaris уделывала влёт любые Интел-совместимые системы. Предполагалось, что системы Sun будут массово использоваться там, где требуется параллельная работа однотипных процессов, например, в высокопроизводительных веб-серверах или на серверах баз данных. И, в общем-то, тут с этими системами сложно было спорить. Неплохое железо, неплохая надёжная ОС давали прекрасную надёжность работы и высокую производительность системы. Имелся лишь один недостаток: дорого очень. Требовалось очень хорошо представлять себе объём задач и его изменение во времени, чтобы закупить необходимое количество оборудования — не больше и не меньше, чем нужно.

Решения на интеловых серверах выглядели куда как менее внушительно: меньше ядер, меньше процессоров, да и ОС на выбор: либо Windows со всеми её недостатками, либо линукс, бесплатный и потому не слишком интересный для крупных компаний — нет возможности перекладывать возможные глюки на плечи техподдержки производителя. Но зато интеловый сервер был значительно дешевле. Можно было легко купить один сервер, второй, третий, заменить на более производительные. Можно было собрать сервер на коленке, а можно закупить фирменный с поддержкой.

И вот так дешёвый и относительно примитивный вариант постепенно вытеснил более дорогой и несомненно более качественный, а компания Sun де-факто перестала существовать, растворившись в Oracle. Хотя, конечно, где-то до сих пор предпочитают мощные производительные системы уже от Oracle, но всё больше и больше стартапов и проектов, использующих в работе недорогие Intel-сервера с одиним из вариантов бесплатного линукса и бесплатной MySQL. Это банально удобнее.

Думаете, с сетями иначе? Конечно, если у вас магистральный канал с высокой пропускной способностью — глупо городить на нем софтовый роутер, кто ж с этим спорит? Но если у вас задача типа той, описанной автором исходной истории — соединить пару офисов + немного спецсофта, — то глупо будет уже закупаться оборудованием уровня hi-end. А вот таких вот мелких сетей гораздо больше, чем магистральных каналов.

Что дальше? А дальше, по логике развития, мы должны придти к копеечным роутерам SOHO-класса, представляющим из себя, по сути, мини-компьютер с софтовым роутером (и такие уже есть — все эти WiFi-роутеры с WAN-LAN-интерфейсами) и к копеечным же веб-серверам со встроенной ОС и возможностью заливки веб-приложений. Впрочем, сейчас их роль успешно выполняют виртуальные машины, VDS/VPS.

А оборудование класса hi-end останется там, где оно должно быть и где без него не обойтись.

Был у меня сервер на Linux. И случилась с ним беда как-то — что-то нехорошее произошло. То ли сеть из-под ног выдернули, то ли что… Работает, пингуется, можно зайти, творить что угодно, только вот Самба отказывается принимать новые подключения.

Сервер далеко, подключаюсь удалённо. Пробую перезапустить службу — затык. Процесс завис где-то на ядерной функции. Пробую прибить — не прибивается. Перебираю все возможные сигналы, даже SIGUSR1 — глухо.

Хм. Что ж, делать нечего — перезапустим сервер. shutdown -r now. Энтер. Отключаюсь. Через полминуты снова подключаюсь. Уже загрузился? Хорошо. А Самба? Снова? Нет, стоп. Аптайм — много дней. И тикает.

Паника.

Паника-паника-паника.

Думаю. init 6? reboot? halt? kill 1? Аптайм продолжает идти, зараза.

Так, пошли грязные методы. Хорошо что есть рут-доступ. Вотчдог есть софтверный. Не получается повесить. Занулить память ядра? Нет. Как-то вызвать панику ядра? Система стабильная нынче, и старые шутки типа битого образа по сети не работают. Что ещё, что ещё?

«Нет, хозяин, ты велел работать».

О! Точно! Вот оно! Как хорошо что я не отключил в приступе паранойи magic SysRq!

echo b > /proc/sysrq-trigger

Выдохнули!

И пусть аптайм тебе будет пухом.

На сервер надо было закинуть большое количество данных, поэтому вместо копирования по сети решили подрубить USB-диск напрямую. Диск подключён, определён. Запускаем Far — и экран гаснет, а через секунду появляются белые буквы на синем фоне.

У админа встают волосы дыбом. А, нет, это всего лишь Far в полноэкранном текстовом режиме запустился…

Это был вполне обычный день. Автор истории неспешно прокручивал френдленту, когда наткнулся на запись, где некий вопрошающий отчаянно просил совета от яблочных «сообщников».

Ситуация вырисовывалась понятная: некоторое количество престарелых, хотя вполне рабочих серверов Xserve были планово отключены, а теперь вот понадобились, но включаться не хотят ни в какую. Комментаторы наперебой советовали тащить в сервис, выкидывать устаревший хлам на помойку и заменять блок питания. Вопрошающему же хотелось получить результат «здесь и сейчас».

Оперативно прокрутив в голове факты, автор лаконично посоветовал: «Погрейте их феном для волос». Вопрошающий вполне закономерно усомнился в целесообразности сей процедуры, поэтому автору пришлось детально описывать суть проблемы и необходимость использования фена. Дело в том, что поднабухшие конденсаторы несколько меняют свои характеристики и при комнатной температуре работать отказываются, а при нагреве соглашаются выполнять свои обязанности. В серверах, в частности, эти конденсаторы нужны, по большому счёту, только для пуска, после чего машина может работать неопределённо долгое время. И она работала, пока не была отключена и не остыла.

Тем временем из ЖЖ-профиля вопрошающего выяснилось, откуда у русского парня взялся буржуйский Xserve. Оказывается, человек переехал в Штаты, где, вероятно, занимался программной частью и наверняка был неплохим специалистом — плохого бы не приняли.

На следующий день душу автора согрел замечательный комментарий от вопрошающего:

— Шайтан! После прогрева всё заработало. Спасибо огромное!

Ещё большее удовольствие получал мозг автора, в красках воображая, как на глазах ошарашенных американцев тот crazy Russian guy приплясывал вокруг сервера с феном для волос, бормоча непонятные заклинания, после чего Xserve волшебным образом запустился. По крайней мере, автору хочется верить, что так и было…

Приучился я работать на одном сервере сразу с консоли VMware, так как SSH-порт был закрыт. Для удобства включал полноэкранный режим.

И вот мне надо было подготовить виртуальную машину. Вставляю в компьютер установочный диск, в режиме запуска виртуальной машины выбираю свой привод, по привычке включаю полноэкранный режим. И чем-то я был занят помимо этого. Приходилось изредка прибегать к компьютеру и нажимать «Далее». Установил ось, настроил — и чё-то не выходит из полноэкранного режима. После нескольких попыток начинаю допирать, что отформатировал свой собственный компьютер со всеми дисками и со всей своей работой. До сих пор офигеваю.

Утром затупил удалённый доступ к серверу. Пингую. Через раз время отклика — больше трёх секунд. Беда. Прикинул топологию — сервера там на отдельном свитче. Ладно, надо идти смотреть, что случилось.

Прихожу. Жопа! Кондиционер потёк, посреди серверной лужа. Но на свитч это никак не влияет: всё в высокой стойке, сухо и комфортно.

В общем, пока разбирался с лужей и вызывал кондиционерщиков, стало не до свитча. Через час освободился, решил продолжить поиски потерь — всё восстановилось! Коллективное сознание железа нашло способ вызвать меня в серверную, пока лужа не достигла критических размеров.

В чёрном-чёрном городе, в чёрном-чёрном магазине, в чёрной-чёрной серверной стоял чёрный-чёрный сервер, на котором хранилась чёрная-чёрная бухгалтерия. Админил это хозяйство мой хороший знакомый. Внезапно заявляются в этот магазин маски-шоу: два автобуса ОМОН, установка РЭБ, все дела. Админ в это время был в командировке и чудом не попал под арест. Приезжает он после командировки в магазин и видит, что из всех десктопов выдраны с корнем жёсткие диски, серверная взломана, все серверы выдраны из стоек. Директор ставит задачу восстановить инфраструктуру. Звонит знакомый мне и спрашивает, где купить подешевле серверы, харды и новые материнки (на многих десктопах омоновцы выдрали харды вместе с портами). И тут я генерирую идею.

В самой дальней и неприметной комнате делаем небольшую фальшстену. За этой фальшстеной размещаем всего один, но мощный сервер с UPS в беззвучном режиме. Настраиваем любой понравившийся гипервизор. Поднимаем на нём все нужные серверы, на всякий случай базы храним в Трукрипте. Из бывших десктопов делаем тонкие клиенты, чтобы не покупать харды и материнки и не переустанавливать ось. На одном из виртуальных серверов настраиваем терминальный сервер, ставим на него весь нужный софт и права, компилируем PXE-загрузчик, конфигурируем DHCP и TFTP. В старой же серверной…

Я бы многое отдал, чтобы посмотреть на лица следующих омоновцев. Вламываются в работающий магазин, срывают крышки с десктопов — а там пусто. Бегут в серверную, ломают дверь — в серверных стойках пусто, и все сетевые кабели подключены к огромному чёрному-чёрному дилдо.