bash.im ithappens.me zadolba.li
1313

Низведение и курощение локальных сетей

6 октября 2009, 19:30

Было дело, админил я одну торговую контору с сотней машин и кучей неуправляемых свитчей. Прихожу как-то поутру, а ранние птахи, прискакивающие на работу задолго до начала рабочего дня, уже шумят: «Ничего не работает». Ну, первопричина понятна сходу — ночью отрубали электричество, и все серваки стоят. Пустил их, проверил — работают, но по-прежнему неладны дела в нашем королевстве: сеть ведет себя совершенно неподобающим образом. 60–70% пакетов теряются, причём у всех. Диагноз очевиден: нечто в сети очень жёстко и безжалостно флудит без перерыва по причине то ли программного косяка (сбой, вирусня), то ли аппаратного (вплоть до периодического закорачивания пар погрызенной крысами витухи).

О психологическом давлении, оказываемом в подобных ситуациях сотней сотрудников и начальством, я умолчу — те, кто сталкивался лично, сами знают, каково это, а всем прочим описать эту гамму чувств в полной мере довольно затруднительно. Лучше расскажу о технической стороне. Быстрым военным советом решено было последовательно поотключать всё и вся с целью локализовать проблему.

И понеслось... Первым процедуре был подвергнут ближайший к серверной 24-портовый свитч — безрезультатно. Вторым — самый большой 48-портовый в другом здании. О чудо! Оставшаяся часть сети заработала. Начал втыкать патчи обратно по одному: норма, норма, норма — хоп! — опять пакеты посыпались. Косячная линия найдена — что же на другом конце? Путём опроса (никакого плана разводки, естественно, не было) выяснилось, что следующий пункт программы — комната охраны (тоже путь не ближний), в которой обнаружился одинокий восьмипортовый свитч для компа охраны и IP-камер. Ещё одна итерация, ещё один косячный линк. Опять методом исключения нахожу камеру, к которой он идет, притаскиваю стремянку, лезу под потолок, шарю в окрестностях камеры и, наконец, нахожу таки виновника беспокойства в лице древнего пыльного пятипортового свитчика, ехидно подмигивающего мне диодом линка.

Зачем его там ставили изначально — уже не доискаться, но в итоге в него воткнули одну камеру и успокоились. В течении нескольких лет он лежал себе на потолке и тихо работал, а в этот день, поймав скачок, вдруг решил на всех обидеться. При включении этого скромного малыша, ложилась вся необъятная сеть, а его поиски стоили фирме больше часа простоя и километра пешего бега мне лично. С тех пор этот свитч лежит на полочке с подписью «Шайтан-машинка для парализации работы неграмотно построенных сетей».