Безопасность, вентиляция, кондиционирование – как мы делали ремонт серверного помещения

Отсутствие логики подключения, неупорядоченные провода, хаотично висящие «косы», шатающаяся стойка, лежащий на полу сервер – такую картину можно встретить в серверных самых разных компаний. Чаще всего это временные «решения», превратившиеся в постоянные. Они не только нарушают эстетику помещения и усложняют обслуживание оборудования, но и влияют на безопасность и устойчивость IT-инфраструктуры. Серверы не всегда падают из-за DDoS-атак и проблем с железом – в некоторых случаях причина выхода из строя банальна: забитые пылью системы охлаждения, короткое замыкание запылившегося блока питания.

Именно в таком запущенном состоянии находилась серверная одного из наших клиентов. Крупная производственная компания росла и расширялась, а вот комнату для серверного оборудования строили с подходом маленькой компании. Когда она приобрела совсем плачевный вид, обратились к нам.

Серверная – сердце кабельной сети, от порядка здесь напрямую зависит работоспособность IT-инфраструктуры предприятия. Не зря существуют технические требования ГОСТов к организации серверных комнат и противопожарные нормы, которым должны соответствовать такие помещения. У нашего заказчика «сердце» требовало срочной профессиональной помощи. Нам предстояло навести порядок и выполнить ряд дополнительных работ, напрямую не связанных с СКС, но очень важных для поддержания бизнес-процессов.

Что дает правильная организация серверной:

• обеспечивает легкий доступ к нужным кабелям и упрощает эксплуатацию кабельных сетей и серверов;
• позволяет оперативно подключить новое рабочее место или устройство;
• повышает безопасность, снижая риск выхода оборудования из строя;
• позволяет компактно разместить все провода и устройства;
• не допускает перегрева оборудования;
• придает эстетичный внешний вид стойке и помещению в целом.

Главная проблема при реализации проекта

Задач было много, а оборудование на действующем производстве отключать нельзя. Поэтому все монтажные работы разбили на блоки и выполняли поэтапно, в заранее согласованное время в периоды наименьшей загрузки предприятия.

Монтажные работы в серверной без остановки производства

Выехали на объект для предварительного осмотра и оценки текущего состояния СКС. Серверной занимались разные подрядные организации, докупка сетевого оборудования не была систематической и структурированной, все закупалось по мере необходимости. Поэтому выглядела комната живописно:

• органайзеры разношерстные;
• крепления тоже пестрят разнообразием, где-то вообще отсутствуют;
• у некоторых устройств нет «ушей», салазок, полок;
• висит неопрятная «борода» из патч-кордов;
• свитчи, патч-панели, органайзеры расположены хаотично, и все вместе смотрится некрасиво.

Что-то просто лежит на картонных коробках, чтобы обеспечить хотя бы минимальный воздухообмен между устройствами. Для одного сервера вообще не нашлось места в стойке, и его положили рядом.

По результатам осмотра составили список оборудования и комплектующих, которые необходимы для наведения в серверной порядка. Требовалось докупить: телекоммуникационный шкаф большего размера по сравнению со старым, недостающие полки, направляющие, «уши», болты для крепежа. Шкаф выбрали качественный, современный, с вентиляцией – заказывали у вендора из Москвы.

Как только все это было куплено и доставлено на объект, согласовали выезд на выходные, когда можно полностью отключить всю инфраструктуру, и приступили к работам.

Заранее предупредили производство о планируемых мероприятиях, чтобы сотрудники скопировали все необходимые документы на локальные ПК и могли продолжать работать без остановки на время работ в серверной.

Первый этап: монтаж серверного оборудования, кроссировка

Начали с установки нового шкафа, старый – продали, выручив за него небольшую сумму и немного сократив расходы заказчика на модернизацию серверной.

Затем сделали прозвонку всех линий – важно было понять, что куда идет и как скоммутировано. Чтобы при подключении не возникло проблем, зафиксировали результаты в документе.

Оказалось, что из 150 линий около 70 – чужие, заглушенные и приходятся на старые розетки. Прозвонили эти розетки, нашли запасные действующие линии, промаркировали. Отсортировали лишние, заглушили и убрали под потолок, избавившись таким образом от объемных, никуда не идущих кос.

Приступили к расключению патч-панелей.

У заказчика свитчи располагались рядом друг с другом. Поначалу мы планировали оставить все как есть, но в процессе пришли к выводу, что надо сделать более эстетично и правильно с точки зрения удобства эксплуатации. В итоге установили сетевые коммутаторы так, чтобы можно было подключать новые розетки без протягивания кабеля через половину стойки.

Пока завершался процесс расключения патч-панелей, параллельно выполнили монтаж оборудования и начали запускать серверы.

Вот как сейчас выглядит стойка изнутри:

А так снаружи:

Также освободили серверную комнату от хлама. Здесь, по сути, была устроена кладовка: в нее отправляли старые компьютеры, мониторы, коробки с неиспользуемым оборудованием и комплектующими и просто вещи, которые несуразно выглядят в обстановке офиса. По согласованию с заказчиком часть вещей выкинули, часть перенесли в специально отведенное для хранения место.

Второй этап: перенос точек доступа Wi-Fi

Полностью Wi-Fi менять не стали, нашли оптимальное решение и сделали перенос точек.

Обнаружили у заказчика оборудование, подпадающее под санкции, причем одинаковое и на складе, и в рабочих кабинетах. Предложили обезопаситься, заменив имеющееся в офисе новым, а офисное отправив в резерв на склад. Учитывая, что в приоритете была бесперебойность отгрузок, а не работа офисного Wi-Fi, поскольку все сотрудники подключены к сети кабелями, то согласовали замену мгновенно.

Так что текущий контроллер беспроводной сети продолжил работать в качестве активного на приоритетном участке – в производственном комплексе, а второй в виде ЗИП перевезли из офиса на склад и сделали резервным.

Наше предложение позволило решить сразу две проблемы: оставить Wi-Fi в кабинетах и создать резервный фонд на производстве на случай выхода из строя сетевого оборудования для его оперативной замены.

Купили 3 новых точки доступа – выбрали более простые и дешевые, но полностью покрывающие территорию офисных помещений. Взяли Zyxel Keenetic Extra. Это интернет-центры, для которых не нужны отдельные управляющие устройства: один из центров выполняет функции беспроводного контроллера и управляет двумя другими, обеспечивая бесшовный Wi-Fi-роуминг.

Что с заземлением

Пообщались с местными электриками по поводу заземления в серверной. Они сказали, что, поскольку розетки заземлены по всем правилам, отдельно проводить на стойку заземляющий кабель не имеет смысла.

Дополнительные работы на объекте

Ввод в эксплуатацию новых кабинетов

• В рамках организации переговорной в кабинете маркетологов выполнили прокладку СКС под рабочее место.
• Планировалось перемещение бухгалтерии в офис большей площади, и его нужно было подготовить с учетом уже заказанной в помещение мебели и планируемой рассадки сотрудников. Провели 19 линий, организовали 7 рабочих мест, выделенное место под МФУ, проложили кабель под точку доступа, установили СКУД (по картам доступа), поставили новый блок и внедрили его в существующую СКД-систему.
• Вводилось в эксплуатацию абсолютно новое помещение, куда должен был переехать отдел закупок, состоящий из 8 сотрудников. Протянули в комнату 18 линий и создали для менеджеров рабочие места.

Кабель-менеджмент в офисе

Заказчику не нравилось, что в одном из кабинетов по всему полу идут провода от компьютеров и оргтехники – некоторые лежат прямо под ногами, некоторые – в незакрепленных напольных кабель-каналах. Также он был недоволен тем, что из-за отсутствия фронтальных панелей видно все, что находится под столами, за которыми сидят сотрудники (в основном женщины). Посторонние люди, заходя в помещение, сразу обращают внимание на открывающийся вид, что негативно влияет на деловую атмосферу в офисе.

От беспорядка с проводами мы избавились, установив гибкий органайзер, в который спрятали отдельные кабели. Остальные, вместе с блоками питания, подвесили под столешницы. Таким образом привели в порядок 3 рабочих места. Теперь все выглядит более аккуратно и эстетично.

Чтобы максимально уйти от проблемы «подстольного обзора», предложили поставить рифленые экраны, которые позволят решить сразу две задачи:

1. Посетители перестанут заглядывать под стол, и сотрудницы будут чувствовать себя комфортнее;
2. Можно убрать из виду кабели, идущие от системных блоков (устройства стоят на полу и по-другому провода никак не спрятать).

Идея с экранированием понравилась, но на реализацию свободных денег у предприятия пока нет, поэтому отложили ее на будущее.

В планах

Самые важные работы по серверной сделали, но осталось еще несколько запланированных мероприятий, которые нам предстоит осуществить в рамках этого кейса:

1. Поставить на обслуживание систему кондиционирования, сделать чистку блоков.
2. Оснастить серверную Bonpet-ампулой с инертным газом. Установка газовой системы пожаротушения снизит риск порчи дорогостоящего оборудования и распространения пожара за пределы помещения. Неплохо бы поменять и двери в серверную на противопожарные, но администрация БЦ, скорее всего, не одобрит замену.
3. Организовать удаленный мониторинг окружающей среды – установить систему контроля температуры и влажности. Для этого потребуется приобрести специальное оборудование (HVG или NetPing) со всеми датчиками и подключить к Zabbix. Система автоматического мониторинга – сравнительно небольшое разовое вложение, например, NetPing в полной комплектации стоит около 50 тысяч рублей. При этом она даст нам возможность полностью контролировать микроклимат в серверной и мгновенно реагировать в случае возникновения инцидентов.

Эти три пункта – минимальный базовый набор, который должен быть в любой серверной комнате. А поскольку у заказчика есть похожая серверная на производстве, там тоже понадобится наше участие.

Вот какие задачи мы должны будем выполнить:

1. Установить сплит-систему (кондиционер) с зимним комплектом – чтобы привести систему вентиляции и охлаждения серверной комнаты в соответствие ГОСТам.
2. Прозвонить кабели (около 100 штук).
3. Организовать видеонаблюдение (поделимся в этой статье).
4. Сделать из серверной-склада чистую серверную. За несколько лет на оборудовании накопилось столько мелкодисперсной пыли, что на нем можно рисовать.
5. Выполнить косметический ремонт с учетом требований противопожарной защиты.
6. Пересобрать саму серверную стойку и привести ее в порядок так же, как это было сделано с офисным шкафом – с закупкой недостающих «ушей», салазок, полок, креплений.

Кроме того, у нас в планах еще создание в серверной системы видеонаблюдения с возможностью писать на удаленное сетевое хранилище NAS. Это поможет нам следить за состоянием серверов и несанкционированным доступом в помещение.

Сложности

Массу трудностей создали нам салазки – ни одни не подходили, поэтому по ходу дела пришлось немало экспериментировать.

Поскольку в планах – обслуживание кондиционеров, пытались предварительно выяснить, где находятся внешние блоки и какие из них относятся именно к этой серверной (заказчик пока решил кондиционирование делать только в ней). Но ни сам заказчик, ни местная администрация, которая отвечает за здание от имени арендодателя, не владеют информацией и указать места расположения блоков не смогли. Так что нам предстоят активные «поисковые работы».

Остальные кондиционеры пока остаются в текущем (в прямом смысле) состоянии. Они действительно протекают то тут, то там – персоналу бизнес-центра даже приходится подставлять ведра и тазики в коридорах (при том, что БЦ относится к классу B+). Причина протечек проста: изначально в кондиционерах не установили теплообменники. Мы готовы оборудование отремонтировать, но заказчик пока отложил решение этой проблемы.

Профиты для клиента

Возможности масштабироваться не было, и, прозвонив все розетки, мы помогли избавиться от занятых, но неиспользуемых портов. Часть портов освободилась, стало понятно, за что отвечает каждый из них и к каким кабинетам относится. Компании заказчика не пришлось покупать дополнительные свитчи для организации рабочих мест для новых сотрудников.

Навели порядок в серверной, аккуратно и рационально скроссировали кабели. Теперь телекоммуникационный шкаф и помещение в целом имеют приятный и эстетичный внешний вид.

Также мы нашли экономически выгодное для компании решение по резервированию, позволяющее обеспечить выполнение некритичных задач офиса и закрыть вопрос с критически важными бизнес-процессами, которые из-за санкций подвергались риску.

Непосредственные работы в серверной заняли два дня, дополнительные – проводились в течение нескольких месяцев, итерациями. Выезжать на объект мы могли только в выходные дни, поскольку, как уже указывалось выше, компания производственная и останавливать производство нельзя.

В работах принимали участие:

• монтажники;
• руководитель технической поддержки;
• менеджер проектов.