Как быстро восстановить сервер без компонентов

Большинство коллизий по комплексной технической поддержке бизнеса возникает в первые ~90 дней сотрудничества. Это период «притирки» сторон, отладки процессов и документации. Иногда он осложняется форс-мажорными обстоятельствами. Такие моменты – это истинная проверка на прочность для обеих контрагентов.

Вводные

У клиента вышел из строя основной сервер с дублированием блоков питания. Так сложилось, что в начале работы у нас не было даун-таймов для физической остановки оборудования и случилось сразу 2 беды: вышел из строя диск в массиве, а при плановой замене и перезагрузке (для доступа к контроллеру) отказали оба блока питания (первый случай в нашей практике). Произошло все вечером, а на следующий день – нужно работать с утра.

Решение

В общем, ночной «десант» нашей техслужбы в офис к клиенту. Несколько часов диагностики, поиск компонентов, решений, разработка плана действий. И моральная поддержка клиента! Утром загрузка сервера подмены из офиса, выгрузка 2-х инженеров в офис клиента.

Немного уличной магии и часа через 3 взлет основных сервисов, еще через 1,5 – переактивация программных лицензий на 1С и «бреющий полет» всей компании на подменном сервере. Параллельно искали варианты восстановления старого сервера, но рисковать клиент не стал (айда молодец, послушал).

Через 5 дней отгрузили новый сервер и вот тут команде пришлось попахать от души, т.к. делать «уличную магию» на новом сервере было не правильно. Все развернули заново, чтобы не наткнуться на пасхалки от предыдущего подрядчика. В деталях – это тема отдельного поста.

Итоги

Работ вышло на 80+ часов, простой составил около 5 часов рабочего времени после аварии и пару часов при миграции между серверами во второй раз. По календарю заняло порядочно, но клиент перешел на «новые рельсы».

P.S. Оказалось в стоке у поставщиков лежит мало нормальных серверов. Быстро можно достать только б/у. Но это был не наш путь.