Кейс: система мониторинга серверов на Zabbix

Системы IP-видеонаблюдения, контроля доступа, пожаротушения – важнейшие элементы инфраструктуры предприятия, которые обеспечивают сохранность товарно-материальных ценностей, помогающие решать вопросы безопасности и проблемы с рекламациями. От надежного функционирования таких систем зависит не только финансовая, но и репутационная составляющая бизнеса.

Однако следить за исправностью каждой камеры и в постоянном режиме наблюдать за видеопотоком трудозатратно и малоэффективно. Чтобы облегчить процесс наблюдения и своевременно устранять неисправности, компании часто прибегают к аутсорсингу, перекладывая на плечи специалистов все, что связано с обслуживанием и ремонтом оборудования, относящегося к комплексу безопасности.

Сервисные центры, в свою очередь, тоже стараются оптимизировать работу, внедряя технологические инновации и современные IT-решения. Пример такого внедрения – мониторинг камер видеонаблюдения при помощи Zabbix, о котором пойдет речь в этом материале.

Кейс: поэтапная разработка ПО для системы мониторинга

Вводные

Клиент: сервисный центр по обслуживанию систем видеонаблюдения (СВН) и контроля доступа (СКД).

Задача: создать продукт для мониторинга камер и видеорегистраторов, стоящих у заказчиков центра. Нужно было разработать программное обеспечение (ПО), которое позволяет немедленно выявлять все проблемы с оборудованием, чтобы их можно было оперативно решить.

Мы предложили реализовать проект на Zabbix – программе с открытым исходным кодом, предназначенной для распределенного мониторинга сервисов, расположенных на Windows / Linux-серверах, и компьютерных сетей. Показали клиенту возможности ПО и приступили к работе – требовалось нетиповое решение, поэтому в наши задачи входила доработка Zabbix под заданные цели.

Zabbix – простой, гибко настраиваемый программный продукт, позволяющий настроить удаленный мониторинг и в режиме 24/7 отслеживать состояние серверов, сетевого оборудования, сетей (включая удаленные), ПК, оргтехники, любого другого оборудования, имеющего сетевое подключение. Устанавливается на Linux, мониторит статусы любых сервисов и приложений. 

Подготовка

Сервер установили в ЦОД, для безопасности подключения использовали SSL-сертификат.

На этапе подготовки продумали, в каком виде предоставлять продукт конечным пользователям. Система мониторинга серверов “Заббикс” нетребовательна к железу, поэтому решили разворачивать ее на мини-компьютерах Raspberry Pi.

Для удобства  вероятные проблемы поделили на две категории:

1. Аварии.
2. Инциденты.

Чтобы понять, какие параметры можно завести в систему мониторинга (СМ), собрали и проанализировали данные по поставщикам, выявили и проанализировали возможности различных видеорегистраторов и камер.

Обсудили с заказчиком конкретные инциденты, которые необходимо отслеживать, и способы реагирования. По результатам:

• составили таблицу с показателями, на превышение/понижение которых СМ должна была реагировать;
• создали несколько индивидуальных шаблонов, так как в базовой сборке ПО не предлагалось адаптаций с нужным набором элементов;
• продумали варианты оповещений, в том числе и для изолированных сетей;
• предложили дополнить мониторинг видеорегистраторов и камер отслеживанием состояния серверной при помощи датчиков температуры, влажности и дыма.

Пример работы СМ. Если отсутствует сигнал от камер или проседает видеопоток (доходит до определенного параметра в таблице показателей), Zabbix немедленно уведомляет оператора о возникшей проблеме по SMS или на email, он сообщает о проблеме заказчику, проводит проверку, выясняет причину инцидента и передает заявку техническим специалистам.

Инструкции

Сотрудники компании, для которой мы разрабатывали ПО, должны были подключать СМ на объектах заказчиков. Поэтому в наши задачи входила разработка простых пошаговых инструкций для подключения и первичной настройки программы для мониторинга сетей и серверов Zabbix. Мы написали подробное руководство, включив в него последовательный порядок действий, подкрепленный схемами и скринами.

Чтобы убедиться в том, что у сотрудников не возникнет проблем с применением руководства, провели апробирование на тестовом стенде с подключенными в сеть камерами. Пользуясь нашей инструкцией, работники сервис-центра самостоятельно смогли установить ПО и завести оборудование в систему мониторинга.

Интерфейс

После настройки технических параметров оставалось создать удобный интерфейс для всех, кто занимался отслеживанием инцидентов и аварий. Отдельный под каждого, в зависимости от должности:

• с ограниченными правами – для операторов;
• расширенный – для технических специалистов;
• с полным доступом – для генерального директора.

Таким образом, сотрудники получили возможность отслеживать исключительно те проблемы, за которые они отвечают, и не отвлекаться на ненужную их отделу информацию. А руководство – просматривать все события в “Заббикс” и формировать любые графики и отчеты.

Бэкапы

Чтобы у нашего заказчика не было сложностей с переустановкой программы в случае ее выхода из строя, мы проработали регламент создания бэкапов. Сделали два варианта: для самого сервис-центра и для СМ, развернутой у конечного потребителя услуги. Теперь при возникновении проблем с ПО систему можно легко загрузить с резервной флешки.

Результат и затраты времени на реализацию проекта

Заказчик получил в свое распоряжение надежную систему мониторинга Zabbix, которая позволяет дистанционно следить за работоспособностью IP-комплексов видеоконтроля, установленных на объектах клиентов, и оперативно устранять поломки камер видеонаблюдения, регистраторов и других аппаратных средств. Это дает сервис-центру существенное преимущество перед конкурентами.

Проект занял около 250 часов, в команде участвовало четыре специалиста: технический директор, проджект-менеджер, два системных администратора.

Зачем нужна система мониторинга и как она решает проблемы бизнеса

Необходимость использования СВН и СКД для бизнеса очевидна. На любом крупном производстве или складе, где работает много сотрудников, периодически возникают инциденты, связанные с безопасностью, когда необходимо найти виновных, ответить на претензию, определить причину порчи продукции или травматизма. Доказательством в подобных ситуациях служат записи с видеокамер вместе с данными, полученными от СКД.

В то же время внедрение системы безопасности – довольно дорогая инвестиция: установка 40–50 камер под ключ обходится предприятию как минимум в 3-4 млн рублей. Очень важно, чтобы дорогостоящее оборудование работало бесперебойно. Поэтому поддержку таких систем нередко доверяют специализированным службам, которые регулярно приезжают на объект для проверки и обслуживания аппаратуры.

Аутсорсинг удобен и выгоден заказчику во многих отношениях, за исключением одного: в рамках контракта устанавливается регламент обслуживания – сервисный интервал, который обычно составляет 30 дней. В онлайн-режиме исправность оборудования и кабельных сетей сервис-службы, как правило, не отслеживают, что создает угрозу безопасности бизнеса заказчика и является проблемной точкой для самого сервисного центра.

Поломка камеры или повреждение кабеля возможно в любой момент, в том числе в промежутке между плановыми обслуживаниями. Если видеопоток прервался и видео с нужной камеры не записалось, потому что она перестала работать еще неделю назад, а в это время на предприятии случилось ЧП, последствия будут неприятными. Отсутствие видеозаписи может серьезно повлиять на результат разбирательства, привести к финансовому ущербу и плохо отразиться на репутации компании.

Невозможность оперативно выявить поломку особенно критична для больших структур, таких как, например, АПК «Безопасный город», который нацелен на создание комфортной городской среды, поддержание правопорядка, защиту от угроз и чрезвычайных ситуаций. Эти комплексы состоят из множества аппаратных средств, и каждое из них должно работать безотказно.

Интервальность является также одной из главных проблем бизнеса, построенного на обслуживании систем видеоконтроля. Своевременно обнаружить неисправность очень сложно, для этого необходимо специальное программное обеспечение. К сожалению, готовых консолидированных решений, с помощью которых можно вести дистанционное наблюдение за состоянием видеоаппаратуры, на рынке нет. Они создаются индивидуально, в частности на Zabbix, как мы показали в этом кейсе.

Преимущества использования системы мониторинга для сервис-службы

• позволяет сократить межсервисный интервал и улучшить сервисную функцию служб;
• обеспечивает надежное функционирование систем безопасности на обслуживаемых объектах;
• поддерживает бесперебойную передачу видеопотока;
• помогает оперативно реагировать на любые перебои в работе СВН и СКД;
• экономит ресурсы компании, в частности человеко-часы;
• предоставляет конкурентное преимущество на рынке.

Если у вас есть вопросы по кейсу или вы хотите заказать разработку системы мониторинга для своего предприятия, свяжитесь с нами любым удобным способом.