Сбежавший админ: как не надо заниматься администрированием серверов

Заботиться о безопасности IT-инфраструктуры – это правильно, но при администрировании серверов даже в вопросах защиты не стоит перегибать палку. Чрезмерная мнительность может сыграть злую шутку, как произошло с компанией, которую мы вынуждены были спасать после одного странного происшествия. Но обо всем по порядку.

Перед выходными к нам обратилась проектная компания 100+ сотрудников. Случай был необычным – специалисту, который отвечал за серверное администрирование, показалось, что серверы предприятия подверглись хакерской атаке, он запаниковал, выдернул все кабели из коммутационного оборудования и просто сбежал.

Когда руководители в пятницу вечером зашли в офис, то были просто шокированы увиденным: вся техника отключена, компьютеры, принтеры, серверы – ничего не работает. Сисадмин повел себя по меньшей мере странно – ударился в бега, на звонки не отвечал, сам на связь не выходил, чтобы объяснить свое нестандартное поведение и необычный способ защиты от вероятной DDoS-атаки.

Поскольку директора не разбирались в администрировании серверов, самостоятельно выяснить, произошла ли хакерская атака на самом деле, а также подключить и грамотно выполнить настройку оборудования они, естественно, не смогли. В таких обстоятельствах оставалось только искать помощь извне. Они начали обзванивать профильные IT-компании, но пятница близилась к концу, впереди выходные, и все айтишники наотрез отказывались.

В то же время проблема требовала немедленного решения – если в понедельник предприятие нормально не заработает, это чревато крупными потерями, как финансовыми, так и репутационными. Когда руководители дозвонились до нас и объяснили ситуацию, мы вошли в положение и были единственными, кто согласился помочь.

Итак, перед нами стояли следующие задачи:

• выяснить, была ли атака хакеров реальной;
• восстановить работу оборудования, помочь компании вернуться в привычный рабочий график;
• выполнить экспресс-аудит IT-инфраструктуры;
• правильно настроить серверы и сеть, устранив существующие уязвимости и укрепив защиту, чтобы в будущем избежать катастрофических последствий DDoS-атак, если они случатся.

Технический аудит

Специалист «Интегруса» выехал на место и стал разбираться, что произошло и как это исправить. Технический аудит начал с серверной – надо было понять, какое сетевое оборудование там имеется, что требует установки и переустановки, оценить масштаб ущерба и решить, можно ли вообще восстановить работоспособность серверов.

Технический аудит представляет собой специальную экспертизу, которая проводится с несколькими целями: 

• определить уровень технической оснащенности объекта, проверить текущее состояние серверного и сетевого оборудования на момент аудита;
• выявить проблемы, которые могут создавать пробелы в безопасности и нормальном функционировании IT-инфраструктуры.  

Картина в серверной комнате была странной: абсолютно все машины выключены из розеток, кабели вытащены. Прежде всего необходимо было подключить серверы к питанию. Но подключение – лишь полдела. Чтобы запустить оборудование и ПО, нужно авторизоваться, то есть преодолеть парольную защиту. Однако руководство логинов и паролей у себя не хранило, все они остались у сбежавшего админа. А поскольку тот бесследно исчез, пришлось идти другим путем – искать нужную информацию на админском компьютере (бывший сисадмин был в штате и постоянно находился в офисе, так что имел отдельный ПК).

Наш специалист выяснил, на какой машине работал беглец, и авторизовался на ней. Пытался найти пароли, но ничего не вышло. Пришлось звонить администратору, который занимался серверами и компьютерной сетью предприятия раньше. Предшественник покинувшего «поле боя» сисадмина оказался человеком адекватным, более того, он помнил большинство паролей и даже согласился приехать в офис, чтобы помочь разобраться и подсказать, что и как должно работать.

Настройка доступа к серверу и к сети, установка парольной защиты

Вместе со «старым» администратором начали восстанавливать коммутацию и пытались попасть на серверы и сетевое оборудование. Не все получилось, но благодаря тому, что админ-дезертир не особо следил за безопасностью серверной инфраструктуры, его предшественнику удалось зайти на основной сервер (на контроллер домена) под своей прежней учеткой. После этого оказались доступными и остальные машины – стал возможен сброс паролей и доступ к данным.

Так как от сбежавшего админа не удалось чего-либо добиться, осталось непонятным, произошла ли DDoS-атака в реале и была ли угроза взлома действительно актуальной или он все же переборщил с «защитой» от злоумышленников. На всякий случай пароли решили сменить: там, где они не подходили – сбрасывали, где подходили – меняли старые на новые.

Критически важные сервисы

Все бизнес-процессы и бухгалтерия, как и во многих других российских компаниях, у нашего клиента были завязаны на «1С:Предприятие 8.3». Руководство очень переживало за сохранность данных и работоспособность ПО. Но здесь повезло – 1С никак не пострадала, потому что аварийной остановки работы не было, сбежавший админ просто выключил питание серверов. Так что восстанавливать 1С 8.3 из бекапа не понадобилось.

А вот с сетевым оборудованием мы были вынуждены повозиться – WatchGuard пришлось сбрасывать и конфигурировать по новой. Также потребовалось проверить работоспособность служб каталогов ActiveDirectory и запустить Exchange, Asterisk, SQL.

Пробыли мы на объекте все выходные, трудились с утра до вечера. Зато к началу рабочей недели все заработало: были подключены и настроены серверы, компьютеры, принтеры, другая офисная техника, программное обеспечение. Утром в понедельник компания уже функционировала в привычном режиме.

Хотя все аварийные работы были завершены вечером в воскресенье, на следующий день мы приехали на «дежурство», чтобы довести дело до конца и помочь сотрудникам: где-то принтер не печатал – надо было настройку сделать, каких-то лицензий не хватало – требовалась установка, у кого-то локальные вопросы возникли по технической части. Кроме того, важно было позаботиться о безопасности и отказоустойчивости IT-системы. Так что в течение еще нескольких недель наша команда продолжала устранять последствия деятельности дезертировавшего сисадмина и приводить в порядок инфраструктуру компании.

Настройка сервера NAS для резервного копирования

Среди брошенного беглецом оборудования обнаружили неработающий NAS с несколькими дисками. Это специальное устройство для хранения файлов, которое обеспечивает совместный сетевой доступ к находящейся на нем информации.

Резервное копирование у заказчика отсутствовало, так что мы создали из найденного NAS хранилище под бекапы, выполнили настройку, залили на него всю информацию с рабочих серверов. Сделали это для того, чтобы иметь резервные копии на случай, если вдруг серверное оборудование выйдет из строя.

Видеорегистратор

Нашли мы и видеорегистратор, но, к сожалению, данные на нем были повреждены, поэтому нам не удалось выяснить причины поведения админа. Так и осталось тайной, почему он решил, что взлом каким-то образом может повлиять на IT-инфраструктуру в целом и отключил от питания все оборудование.

Устранение слабых мест для укрепления защиты

Руководители компании охотно шли на контакт – они были свидетелями ситуации, для них стало очевидным, что при подобных инцидентах неминуемо возникают большие проблемы с восстановлением данных, а значит, и с функционированием предприятия. Так что в течение всей следующей недели после исчезновения админа мы вместе с директорами на основе данных технического аудита составляли план дальнейших действий. Запланировали целый ряд мероприятий, которые должны были помочь компании продолжать спокойно работать. И затем уже все делали по этому плану:

• произвели настройку создания резервных копий «1С:Предприятие 8.3»;
• восстановили видеонаблюдение – вернули в рабочее состояние видеорегистратор, настроили запись, копирование;
• сделали бекапы серверов;
• поменяли точки доступа, подключили и выполнили настройку.

Инвентаризация и восстановление лицензий

Помимо вышеуказанных мероприятий, мы провели полноценную инвентаризацию «железа» и программного обеспечения. Запросили данные в бухгалтерии, прошлись по всем кабинетам, сравнили списки того, что покупалось и что есть в наличии.

Деятельность компании была связана с проектированием, поэтому сотрудники использовали дорогостоящее лицензионное оборудование и ПО, в частности:

• AutoCad;
• CSoft;
• Geonix;
• NormaCS;
• MicroMine.

При этом лицензии были хаотично разбросаны по разным машинам: одни стояли прямо на сервере вместе с ключами, установка других почему-то производилась на админский компьютер. Инвентаризация помогла восстановить все лицензии (некоторые из них стоили по 1–1,5 млн рублей).

Итоги

В работах на этом объекте участвовало четыре специалиста: три системных администратора и руководитель технической поддержки. Управлял командой технический директор.

Мы провели технический аудит инфраструктуры, восстановили функционирование серверного и сетевого оборудования за два выходных дня. Благодаря нашей оперативности заказчик не понес никаких потерь – с понедельника предприятие уже вернулось к обычному распорядку.

Еще несколько недель потребовалось на то, чтобы устранить уязвимости в администрировании серверов и сетевой безопасности, а также исправить ошибки, допущенные сбежавшим сисадмином. Если бы не наша помощь, возможный ущерб для компании мог бы оцениваться миллионами рублей и потерей репутации.