Сеть

Работал дежурным сисьобнимом в достаточно известной розничной сети в 2012-м. График — сутки через трое. Обязанности распределены: сетями занимается один отдел, инфраструктурой — наш, приложениями — другой.

Ничто не предвещало беды. Как обычно, на смене в 20:00 надуваю матрац, достаю подушку с одеялом, прогуливаюсь до «Седьмого континента» с целью замешать себе снотворное (кола + виски или кола + коньяк — зависело от удалённости от дня зарплаты; если совсем далеко, а в кармане финансово-половой кризис, то вообще не ходил). По возвращении наблюдаю до хрена писем от SCOM. Тихо фигею — поначалу даже без мата. Склад, работающий ночами, разрывает телефон, XenApp работает нормально, VMware-кластер работает тоже норм. Паника. Я в первый раз не понимаю, что лажает.

Эскалация. Проверка всего и вся по сетевому и инфраструктурному отделу. Нуль, причины неизвестны.

Позже я упомянул в очень нецензурной скайп-конференции, что разворачивал виртуальный сервак на ESXi с определённым айпишником. Механизм поиска свободного адреса в подсети для виртуалок был прост: пингануть — не отвечает, nslookup — без ответа, значит, свободен.

Развёртывая тестовый сервак, я занял IP сиськовского пятитонника. Но, как выяснилось, я был не виноват. У дежурной смены просто не было списка критических для работы IP.

Мораль такова: инфраструктурщики должны дружить с сетевиками и знать, какие IP заняты под сетевое оборудование, и их лучше не трогать. И ещё: пилите виртуалки только по профилю, созданному архитектором, с IP, именем сервака, VLAN и т. д. Предотвратит множество проблем.

А как-то, помню, у нас Nexus навернулся, который за всю виртуальную среду отвечал по сетевой части. Но это уже другая история, смазанная вазелином и благоухающая ароматами раскалённого паяльника…

Сегодня скончался сервер. Заведовал он системой КПП хрен знает с какого года. Ну, знаете, есть ключ-брелок, подносите его к считывателю, и дверь либо открывается, либо нет — зависит от ваших прав и настроек замка.

Пошли сервер искать. По теории, искать его надо в серверной, но ку — все серваки весело моргают лампочками, говорят, что у них всё окей.

Дальше начали подключать логику. Вскрыли замок. Заходит на обычную витую пару, внутри у него обычный эзернет, датчик и питание. Всё жутко старое, но надёжное.

Думаем логически: все эти кабели заходят на свитч. Свитчей — как грязи. Проверять все пять корпусов — это несколько дней работы.

Думаем логически: если подносят карточку, то этот парень посылает кому-то сигнал. Включаем в свитч с замком ноут, запускаем Wireshark, смотрим. Облом-с. Широковещательная рассылка по UDP, но с контролем: не получив ответа, замок ещё пять секунд тщетно шлёт пакет в никуда.

В свете здравых идей рождается мысль посмотреть, где жила админская раньше и нет ли там какого агрегата. Потом рождается ещё одна идея: есть же программка с правами, можно посмотреть, куда она отсылает данные.

Разбились на две группы и побежали проверять оба варианта. Я отправился смотреть, с кем связывается программка. Жутко старый софт, работающий только из-под Досбокса, тем не менее, связывался с айпишником, а не по широковещательной. Дальше всё легко и просто: смотрю в базу серверов, ищу нужный мне IP…

Охреневаю. Зову всех посмотреть на запись в базе и прочитать её вслух. Запись гласит: «Компьютер охранной службы. Расположение: охранный пост №  1». «Гм…» — говорим мы все хором, и я иду смотреть на это диво.

В комнате охранников есть лежанка, стул, сервер охраны с камерами (оказалось, не тот), и всё. Полчаса поисков дали неожиданный результат: лежанка кому-то показалась слишком короткой, и её придвинули к непонятной коробке с огоньками. Кстати, кнопки Power и Reset на блоке отсутствовали.

Вскрываю. Сервер охранной службы — старый добрый х386. Все кулеры на нём давно встали, но так как грелся он лишь чуть, то, в принципе, не страшно. А умер комп по банальной причине: таракан залез в БП и коротнул.

Теперь эта программка крутится в Досбоксе на одном из наших серверов, соответствующая запись сделана в базе. Оказалось, старичок прожил на одном месте с 1997 года. Мать этого героя теперь висит в админской с надписью: «Я проработал 17 лет в самых жутких условиях. А вам слабо?»

Заглянул сегодня в, так сказать, кроссовую одной фирмы, куда позвали «сервер установить». Офигел.

Картина маслом: кусок ДСП, на нем полдюжины SOHO-комбайнов, из тех, у которых и свитч-чип, и вайфай-модуль, и всякие MPLS оно вроде бы тоже должно уметь.

Железки очень хитро соединены между собой: пятеро патч-кордами в кольцо, плюс ещё один порт у каждого из этой великолепной пятёрки уходит к шестому, «головному» вроде как. Остальные интерфейсы разбегаются куда-то вовне, видимо, по офисам.

И надписи фломастером одна под другой:

«ЖЛОБЫ» (зачёркнуто)
«МОДУЛЬНЫЙ СВИТЧ» (зачёркнуто)
«БЕЗЫСХОДНОСТЬ»

Захотелось зачеркнуть и последнее слово и написать что-нибудь навроде «БЕЗНОГNМ».

Опять, опять я это вижу. Очередной неофит нашёл в Сети pfSense, бесплатную версию Vyatta, Untangle или иной в той или иной степени бесплатный софт-роутер — и, размахивая им, побежал рассказывать всем, что Cisco да Juniper не нужны и что престарелый Pentium 4 потянет 500 мегабит, причём «безвозбездно, то есть дадом». Автор признаётся, что сам он не умеет и не осиливает настроить Dual ISP с VPN ни на Cisco, ни даже на Windows-решениях, оценивает производительность в мегабитах без учёта packets per second, но зато не стесняется швыряться жаргонизмами вроде «кошка», изо всех сил строя из себя этакого бывалого сисадмина. Рефрен рассказа, разумеется, также типичен: Cisco и им подобные, мол, «дорого энд глупо», а автор, разумеется, куда умнее всяких там швыряющих деньги на ветер рабов enterprise-решений: сто лет как EOL’ное оборудование ещё поработает, начальству можно будет доложить о гигантской экономии, ну, и на «хэппенсе» самоутвердиться. И вроде бы всё хорошо.

И ведь действительно всё идёт неплохо. Ну, до тех пор, пока такие кадры не меняют работу и не приходят со своими привычками не учиться и ненужно экономить чужие деньги в крупную компанию. Пока не лепят софт-роутер на 10-гигабитный канал, а потом в течение месяца не могут понять, почему фактическая скорость низкая и пакеты теряются, ведь вроде бы и памяти достаточно, и процессор не загружен, и Speedtest высокую скорость показывает. Пока не оказываются один на один с отказавшим EOL’ным оборудованием, которое не заменишь просто так за пару часов.

Понимание приходит с опытом. Немногие из таких, как наш неофит, продираются сквозь задачи распределения прерываний у софт-роутеров и добиваются на них этих самых 500 мегабит не на словах или тесте скорости, а на деле, с достойным количеством пакетов в секунду. Немногие не только осиливают Cisco, но и выясняют, что на Cisco и Juniper сетевой мир не заканчивается и что есть ещё всякие там HP, Brocade, Mellanox и прочие иностранные слова. Некоторые даже осознают разницу между системным и сетевым администратором. Но это — судьба избранных, большинство же продолжает задирать нос и, едва развернув свой первый софт-роутер, пытаться важным тоном с толикой простеньких метафор поучать «противников сборки суперкаров».

Вы, должно быть, спросите, почему я столь язвителен? Что же, это не секрет. Мне приходится переучивать таких вот неофитов, фанатов «безвозбездных» решений на устаревшем оборудовании. Приходится объяснять им, почему их очередное «гениальное» решение никогда не будет внедрено в продакшн, рассказывать, почему наши клиенты тратят деньги на платную поддержку и так небесплатных цисок и брокейдов, считать с ними стоимость владения, рассказывать о рисках, учить, убеждать, демонстрировать, долго и упорно бороться с неверием и даже отвечать на обвинения в получении взяток от сетевых вендоров (и добро бы мне действительно доплачивали за это). А потому мои эмоции при виде очередного самодовольного рассказа про установку pfSense на Pentium 4 в 2014 году примерно аналогичны эмоциям моего коллеги, раскритиковавшего здесь как-то врунишку, якобы смотревшего Ютуб на банкомате.

Не учите учёных, дорогие неофиты. Учитесь сами. Вы поймете, когда придёт время делиться знаниями: оно придёт после понимания, ну, а понимание… Впрочем, об этом я уже писал. И да не дропнутся ваши пакеты.

Понадобился маршрутизатор, более-менее пристойно умеющий разделять нагрузку на два инет-канала с возможностью поднятия VPN-туннеля между локальными сетями двух офисов плюс возможность подключаться по VPN с ноутбуков. Офисы не сильно большие, трафик будет не сильно объёмным.

Сначала попытался разделить задачу на разные устройства: LB-роутер на одно, VPN-сервер — на другое. Долго подбирал роутер, присмотрел пару. Один из них — киска начального уровня. И тут выяснилось, что киска начального уровня стоит раза в четыре поболее второго роутера, но LB поддерживает, только если ей купить расширение лицензии на её IOS до соответствующих функций — плюс надо бы пройти обучение, которое стоит ой-ёй, либо надолго забуриться в талмуды. Расширение лицензии стоит раза в полтора больше второго роутера.

Второй выполняет свои функции относительно пристойно, пристойно настраивается. Есть куда расти. Но производитель выбрал философию: для каждой новой версии прошивки выпускается новая ревизия роутера, со старой несовместимая аппаратно. Хотите ту же модель с исправленными ошибками и новыми фичами — покупайте новую ревизию.

Ко всему выяснилось, что и кошка начального уровня, и этот роутер собраны на одной платформе и имеют почти одинаковую производительность, а второй начал захлёбываться при полной загрузке каналов.

Для VPN-сервера — отдельные требования.

Согласно идеологии противников сборки суперкаров, брать надо кошку enterprise-уровня или Juniper. Или городить сервер с серверной Windows, которая будет работать круглосуточно. И брать к ним отдельного спеца-сетевика.

Я не настолько богат, чтобы покупать такие ненадёжные решения.

Взялся изучать бесплатные варианты. Это либо Linux, либо FreeBSD, либо дистрибутивы «router on PC». Последнее зацепило. Впечатлил Endian, но он стал коммерческим, хотя несколько лет назад был условно бесплатным. Из троицы FreeSCO, m0n0wall, pfSense остановился на последней, так как первые два давно уже не развиваются.

И всё взлетело. Более того, не пришлось разделять на два устройства. А работает всё, стыдно сказать, на железе, которое теперь списывается, ибо на нём уже невозможно работать. У меня на старых Pentium 4 c 2 ГБ памяти запас по мощности таков, что можно через них поток под 500 мегабит пропускать, только тогда захлёбываться начнут, а по памяти — я потолка вообще не скоро достигну.

Бонусом оказалась возможность поднятия на них же OpenVPN-серверов с шифрованием и связи по нему двух точек. Плюс подъём PPTP-сервера для подключения удалённых клиентов…

Вот так. И затрат-то всего на пару тысяч рублей, чтобы из этого хлама собрать несколько штук и настроить. Спросите: а как же время настройщика? Отвечу: потратил… Но это моя работа, за которую платят зарплату. С другими решениями я бы тоже потратил это время.

Сисадмин — это не пингвиноид или виндусятник, а тот, кто будет работать с оптимальным инструментом, не вертя носом от его вида. Аналог из мира транспорта — вездеход, прокладывающий дороги. А IT-специалист — автомотриса, ездящая только по определённым рельсам, которые уже проложены.

Пятница, вечер. Звонит мне знакомый, который работает бригадиром в компании, занимающейся СКС, и предлагает подработку в свободное время. Приводит он меня на объект, показывает, откуда и докуда нужно тянуть кабели. Всё стандартно, всё понятно, но есть одна загвоздка: все его рабочие на объектах, так что работать мне придётся одному, и сделать всё нужно за выходные. 500 рублей за метр работы, а метров там получалось довольно много. Деньги неплохие, но я так прикинул и пришёл к выводу, что один за выходные не справлюсь. Копаюсь в чертогах разума и вспоминаю про своего бывшего напарника, с которым уже давно не виделся. В своё время мы с ним вот так же много раз подрабатывали. Звоню, предлагаю подработку, привожу его на объект, показываю, откуда и докуда что нужно сделать. Напарник с серьёзным видом ходит за мной, молча кивает головой, со всем соглашается. Задаёт вопрос:

— Сколько за метр работы?

— 250 рублей на каждого.

И тут он складывается пополам и начинает не то что смеяться, а натурально ржать, разве что на землю не падает и не катается. Я стою и не знаю, что делать: то ли в больницу звонить, то ли ещё куда. Смотрю по сторонам — вроде всё нормально. В голове умножаю деньги на метры — получается довольно солидная сумма. В общем, стою в ступоре. Когда напарник отсмеялся, вот он мне что поведал.

Недавно он устроился в начинающую компанию админом. Сняли они здание, инфраструктуры ноль. Так как работы там достаточно много, он решил нанять подрядчика для протяжки СКС. Выделили ему средства, он нашёл подрядчика за 1000 рублей метр. Так вот, объект, на который я его привёл, и есть его контора, а мой знакомый бригадир — его подрядчик. Тут уже и я сложился пополам от хохота.

Вот так мой напарник чуть не стал работать сам на себя, а я стал частью живой рекурсии.

Недавно автор рассказывал про тушки тараканов и необходимость плановой профилактики. Оно, конечно, правильно всё, лучше сразу всё в порядке держать, чем потом в мыле бегать и исправлять, но…

У нас в стойке два сервера и два шлюза — один с Юзергейтом, второй под линуксами без контроля доступа. Шлюзы стоят на самом верху, и при каждом прикосновении к стойке пытаются упасть, хотя я говорил, что так будет и надо их на дно ставить. Суть проблемы в том, что оба сервера — страшная свалка, там скопились куча учётных записей, которым уже лет по десять и никто не знает, чьи они. Вся сеть держится на соплях, пользователи — поголовно с учётками админов. Инет в рабочий день на неконтролируемом подключении еле работает из-за наплыва пользователей, а на контролируемом (ещё и вчетверо быстрее) сидят только три-четыре пользователя.

«Не лезь, пока не сломалось» — очень плохой метод исправления подобной проблемы. Поэтому я полез. В итоге двое суток реанимировал сеть, меня за малым не уволили, а бардак как был, так и остался.

С чем это связано? В первую очередь — этот свинарник в жизни никто не убирал. Во-вторых, на все мои попытки что-то сделать (улучшить систему учётных записей, разграничить доступ в интернет, сделав его контролируемым для всех, кроме нашего отдела) шеф отвечает отказом и тем самым «не лезь, пока работает». В-третьих, за те деньги, что нам тут платят, никто, кроме меня (а я из лени, чтобы потом было меньше проблем), не хочет этим заниматься, а в одиночку в режиме «здесь и сейчас» невозможно полностью переделать и настроить сеть на 300+ машин.

Жаль, обидно, профилактика ой как нужна, но вот начальство придерживается принципа «не лезь, раз работает», поэтому приходится и мне.

Устанавливал недавно в филиале одной конторы (руководитель филиала — мой хороший знакомый) новый вайфай-роутер, который поддерживал USB-носители. В общем, настроил сетку, пробросил порты под видеонаблюдение, дело дошло до установки хранилища файлов. Поднял Самбу, подключил на все станции новый сетевой диск и для проверки на хранилище закинул файл не открывать.txt с многократным повторением в тексте не очень цивильного слова из трёх букв. Настроил, проверил, сдал работу и забыл про это.

Сегодня звонит товарищ (руководитель филиала) и говорит, что сегодня приезжал замгендира из головного офиса и принимал работу. Увидев хранилище файлов, обрадовался. Но радость его длилась ровно до того момента, пока он  не полез открывать тот самый текстовичок со словами: «А это что такое?»

Друг отделался лёгким выговором, а я получил заряд хорошего настроения на остаток дня.

Сапожники без сапог — не парадокс.

Представим себе сисадмина, которому начальство дало строгий приказ поменять в учреждении все роутеры на новые. Объяснение, что старые подобраны на редкость удачно и ещё сто лет проработают, а новая модель — необъезженная, и ещё неизвестно, как себя поведёт, не проходят ни в какую. А вдруг они внезапно начнут сыпаться (ага, а вдруг новые ещё быстрее начнут), перед посетителями неудобно, что мы старьём пользуемся (ага, пришёл в учреждение посетитель и первым делом начал пялиться на роутер, других дел у него нет). О том, что и самому админу несколько лень учиться настраивать роутеры новой модели, а также выполнять первоначальную настройку нескольких десятков новых роутеров, он молчит. А начальник об этом тоже чуть-чуть догадывается, но и он молчит.

Тот же админ дома. Как опытный человек, он когда-то подобрал себе из сотен моделей роутеров одну, отличающуюся сверхнадёжностью. На работу он когда-то выбрал ту же модель. Зачем он будет менять объезженного коня, да ещё и настраивать обновку — это действие у него вообще с работой ассоциируется.

Но начальник оказался сильнее. Роутеры по всему учреждению сменены на новые, выбранные им исключительно по красивому дизайну. Админ же, замучившись с их настройкой, получил «конфетку» — прилавку к зарплате коробкой старых роутеров, которые начальник приказал «убрать куда угодно, только чтобы я их больше тут не видел».

Ну, теперь можно будет не покупать новые роутеры домой несколько десятилетий, даже если каждый обитатель коробки протянет всего год. А у админа они протянут дольше, потому что он, во-первых, электролиты менять умеет, во-вторых, держит рядом с роутером вентилятор, в-третьих, удачная модель, в которой электролиты не так уж часто замены требуют, и без вентилятора — и этим всё сказано. Так что стоять коробочке нераспечатанной ещё долго.

Вот и кажется со стороны, что сапожник без сапог, но мы-то знаем, что он в сапогах — давно вышедших из моды, ни разу не чищенных и потому сливающихся визуально со столь же грязными ногами, но очень долговечных и уютных. А его клиенты носят требующий частого ремонта красивый и неудобный ширпотреб, потому что сами его выбрали. Сапожник же никогда такое не наденет, ибо знает в сапогах толк.

Для сапожника это, может, и лучше — благодаря такому их выбору он и существует.