Если в кране нет воды, значит жива ещё русская интеллигенция!

Начнём с пропорций, которые отрасль системно недооценивает: проектирование занимает год-два, строительство — два-три, эксплуатация — десятилетия, то есть девять десятых жизненного цикла объекта приходится на фазу, которой посвящают одну десятую внимания, бюджета и карьерного престижа. Исследования стоимости жизненного цикла зданий стабильно показывают, что затраты на эксплуатацию и обслуживание за срок службы кратно — в разы — превышают капитальные, и каждое решение, сэкономившее рубль на стройке ценой удорожания обслуживания, следует читать как кредит под грабительский процент, оформленный на будущих эксплуатационщиков без их подписи.

Эксплуатация — это этап, где проектные идеи и монтажные работы проверяются на практике. От качества обслуживания зависит не только работоспособность систем, но и безопасность и комфортность объекта.

Терминологически различим три слоя, которые в обиходе сливаются: эксплуатация — использование систем по назначению (дежурство, мониторинг, реагирование); техническое обслуживание — поддержание работоспособности (регламенты, чистки, проверки, замены); ремонт — восстановление после отказа. Слои по-разному финансируются, по-разному нормируются и требуют разных людей: оператор видеонаблюдения, обходчик с регламентом и ремонтник с паяльной станцией — три профессии, и попытка получить их в одном лице за одну ставку даёт на выходе четвёртую: жонглёра, у которого всегда что-то в воздухе.

Но эксплуатация слаботочных систем ещё менее маржинальный вид деятельности, что ещё более странно, поскольку, к примеру, автор этих строк ставил целью своей группы эксплуатации систем пожарной автоматики снижение ложных сработок системы пожарной сигнализации и добился её реализации за 10 лет до того, как это стало обязательным требованием нормативной документации.

(парадокс, разрешающийся через ту же информационную асимметрию из главы 8: качество обслуживания ненаблюдаемо для покупателя до инцидента, и конкуренция скатывается в цену, вымывая с рынка тех, кто закладывал в тариф реальные регламенты, — лимоны Акерлофа в спецодежде).

Экономика ложных тревог заслуживает того, чтобы её проговорить числами и психологией. Каждая ложная сработка — это эвакуация или выезд, простой и прямые расходы; но главный её счёт — косвенный: десенсибилизация. Персонал, для которого сирена месяцами означала «опять датчик в курилке», на настоящий пожар реагирует с выученной неторопливостью — эффект мальчика, кричавшего «волки», в технической аранжировке; социологи эвакуационного поведения давно фиксируют, что люди сперва ищут подтверждения тревоги и лишь затем двигаются. Поэтому борьба за достоверность обнаружения — перезапросы, мультикритериальные извещатели, грамотное размещение из главы 2 — это не перфекционизм обслуживающей организации, а восстановление доверия к сигналу, без которого вся остальная автоматика лишь генерирует шум. Нормативное закрепление борьбы с ложными сработками в новых сводах правил — редкий случай, когда бюрократия догнала здравый смысл, пусть и с десятилетним гандикапом.

Как шутят, системные администраторы: «работает — не трогай!», что является выражением принципа сохранения работоспособности сложных технических систем, любое изменение в которых, вызванное желанием что-то улучшить или исправить, может подобно взмаху крыла бабочки теории хаоса вызвать цунами непредсказуемых последствий вплоть до синего экрана смерти (BSOD) или чернобыльской катастрофы.

У принципа есть и термодинамическое прочтение, знакомое читателю по главе 6: работоспособное состояние сложной системы — это маловероятный островок порядка, поддерживаемый непрерывным трудом против энтропии, и каждое неосторожное вмешательство добавляет системе случайности, то есть статистически толкает её к более вероятным — неработоспособным — состояниям. Энтропия эксплуатации вполне наблюдаема: растёт число «временных» решений, недокументированных перемычек и забытых исключений, пока однажды система не переходит в состояние, которое целиком объяснимо только археологически. Регулярная ревизия и приведение к документированному состоянию — та самая уборка, которой обслуживание отличается от ожидания поломки.

Зрелая дисциплина на эту тему называется управлением изменениями и давно кодифицирована в практиках ITIL: всякое изменение в работающей системе проходит оценку влияния и рисков, согласование, выполняется в окно обслуживания с готовым планом отката, а конфигурации до и после сохраняются в системе резервных копий. Звучит бюрократично — и спасает еженедельно: значительная часть инцидентов в сложных системах рукотворна и приходится именно на изменения, что подтверждает любой постинцидентный разбор. Принцип «работает — не трогай» в зрелой редакции звучит иначе: «работает — трогай по процедуре», ибо не трогать вовсе не получится — уязвимости, износ и требования меняются без нашего согласия. Всю эту философию управления услугами и изменениями детально кодифицирует библиотека ITIL (в актуальной редакции ITIL 4) — свод лучших практик, выросший из эксплуатации больших ИТ-инфраструктур, но удивительно точно ложащийся и на обслуживание слаботочных систем: процессы, роли и метрики там уже придуманы за нас, и остаётся не изобретать велосипед.

Интегрируя шутку, можно применить этот принцип и к сотрудникам, которые находясь в процессе деятельности, соблюдают правила охраны труда, а не создают бурную видимость трудовой деятельности, что видно по отсутствию результатов, тогда как неизбежные ошибки позволяют им обучаться на собственном опыте, трансформируя знания в навыки.

Охрана труда в слаботочной эксплуатации — не формальность для журнала: работы на высоте у потолочных извещателей и камер, в действующих электроустановках, в замкнутых пространствах кабельных колодцев входят в перечни повышенной опасности, и допуски, наряды и группы по электробезопасности здесь оплачены той же статистикой, что и пожарные нормы. Производственный травматизм имеет ту же природу, что и все аварии этой книги, — нормализация отклонений: каждый день без последствий «подтверждает» безопасность нарушения, пока распределение вероятностей не предъявит свой хвост. Культура, в которой остановить небезопасную работу может и обязан любой, — это та же кнопка Тойоты из главы 12, лишь ставки выше.

Сюда же — тренировки: ирония автоматизации из главы 5 (чем надёжнее система, тем беспомощнее человек в час её отказа) лечится только регулярными учениями, на которых дежурная смена руками выполняет то, что годами делает автоматика, — запускает дымоудаление с кнопок, эвакуирует лифты, переключает питание. Авиационная индустрия проговорила это уставом: тренажёр обязателен не потому, что пилоты плохи, а потому, что хорошие навыки смертны. Журнал учений с разбором ошибок — документ, который при настоящем инциденте стоит дороже всех актов ТО вместе взятых.

Эксплуатация технически сложных слаботочных систем, в особенности систем, связанных с безопасностью, заключается не только в организации технического обслуживания и планово-предупредительном ремонте (ТОиППР), но и в разработке и согласовании регламентов и инструкций, ведении требуемой предметными разделами локального и международного законодательства документации — актов, журналов и отчётов.

Скелет планово-предупредительной системы прост и поверяем: перечень обслуживаемых единиц (тот самый «знай свои активы» из главы 9), регламент операций по каждой с периодичностью (ежемесячный осмотр, квартальная проверка работоспособности, годовые испытания), назначенные исполнители и закрытые наряды с фактическими результатами, а не галочками. Поверх скелета — метрики, позволяющие управлять, а не верить: средняя наработка на отказ (MTBF) по типам оборудования, среднее время восстановления (MTTR), коэффициент готовности систем. Когда эти цифры ведутся честно, они сами назначают приоритеты: тип извещателя с аномальной статистикой отказов — кандидат на замену по всей серии, кроссовая с хроническим перегревом — на доработку вентиляции, а подрядчик с растущим MTTR — на серьёзный разговор при продлении договора. Тому, кто хочет понять не приёмы, а теорию надёжного обслуживания — как от календарной уравниловки перейти к стратегии «обслуживай то, что действительно влияет на функции системы», — стоит прочесть классику предмета: «Reliability-Centered Maintenance» Джона Мубрэя, библию обслуживания, ориентированного на надёжность (RCM), из которой выросли почти все современные регламенты ТО.
При наличии возможности на этапе строительства (глава 12) следует проверить необходимость и достаточность запасных частей, инструментов и принадлежностей (ЗИП), которые как правило закладываются проектной организацией (глава 11) в количестве 10%, но не менее одной единицы каждого элемента спецификации, что значительно упростит эксплуатацию, сократив операционные затраты (OPEX) и время простоя систем из-за неисправностей.

Управление запасами с некоторых пор обросло наукой: ABC-анализ делит номенклатуру по критичности и стоимости (копеечные клеммы — коробками, дорогие контроллеры — по расчёту рисков), а самым недооценённым параметром оказался жизненный цикл вендорской поддержки: оборудование объявляется снятым с производства (EOL) и с поддержки (EOS) безо всякого уважения к тридцатилетнему сроку службы здания, после чего запчасти и прошивки превращаются в антиквариат с соответствующим ценником. Зрелая эксплуатация отслеживает эти даты так же, как сроки поверки приборов, и закладывает миграционные бюджеты заранее — либо однажды обнаруживает, что её СКУД поддерживается только молитвой и барахолкой.

Между поддержкой и музеем существует, впрочем, осознанная промежуточная стратегия — управляемое устаревание: критичные функции мигрируют на поддерживаемые платформы первыми, некритичные доживают на старых под усиленным мониторингом и с накопленным ЗИПом с разборки, а граница между первыми и вторыми проводится риск-анализом из главы 7, а не ностальгией главного инженера. Тотальная одномоментная модернизация — роскошь редких бюджетов; честная карта устаревания с маршрутом на пять лет — обязанность любого.
Тут в пору вспомнить легендарную историю о технической службе одного из предприятий Генри Форда, работники которой получали деньги, когда конвейер исправно работал, а не за действия по ремонту в момент простоя.

Современный пример фордовской мудрости — обслуживание по состоянию и предиктивное обслуживание из главы 5: вместо календарной уравниловки — мониторинг фактической деградации (запылённость камер извещателей, о которой честно докладывают адресно-аналоговые системы; токи утечки; температура коммутаторов) и вмешательство по предвестникам. С KPI при этом стоит обращаться аккуратнее, чем с огнём: вознаграждение за отсутствие зарегистрированных инцидентов рождает отсутствие регистрации быстрее, чем отсутствие инцидентов (метрика, ставшая целью, перестаёт быть метрикой — закон Гудхарта), и платить разумнее за подтверждённую готовность систем и скорость честных реакций, а не за красоту нулей в отчёте.

Не менее чем половиной работы является выявление причины неисправности, поскольку последующие действия по её устранению возможно делегировать исполнителям, детализировав ремонтный алгоритм до соответствующей их квалификации глубины, тогда как диагностика сложных случаев требует наличия опыта и знаний, а простые могут быть выявлены инструментальным измерением параметров и эвристическим анализом их отклонений.

Что, заметим, и есть управленческое мастерство в миниатюре: умение нарезать задачу по уровням компетенции исполнителей, оставив себе диагностический вывод и контроль, а не монополию на отвёртку. Руководитель эксплуатации, чинящий всё лично, — не герой, а узкое место с расписанием отпусков.

И тут эксплуатация платит налог на текучку кадров жёстче любой другой фазы: диагностический опыт накапливается в головах, а не в должностных инструкциях, и уход одного «деда», помнящего, почему третий шлейф нельзя трогать в дождь, обнуляет компетенцию смены. Противоядие скучно и работает: база знаний инцидентов и решений, наставничество с перекрытием смен, парная диагностика сложных случаев — менеджмент знаний из дорогих консалтинговых презентаций в дежурке выглядит как тетрадь, вики и привычка записывать, но делает то же самое.

Методология поиска неисправностей, между тем, вполне передаваема и заслуживает пары абзацев вместо мистики «опытный почувствует». Дихотомия: делим тракт пополам и определяем, в какой половине дефект, — повторяя, сходимся к месту за логарифмическое число шагов (прозвонка линии с середины экономит часы относительно прозвонки от края). Подстановка: заведомо исправный элемент на место подозреваемого — или подозреваемый на заведомо исправное место. История: что менялось последним? (статистика управления изменениями безжалостно указывает на вчерашние «небольшие доработки»). И пять «почему» от Тайити Оно — не останавливаться на первом ответе: извещатель сработал ложно — почему? запылён — почему? не обслуживался — почему? нет в перечне ТО — почему? не передан по акту с этажа арендатору… Вот и истинная причина, и она, как водится, не в извещателе. Разбор первопричин (RCA) с записью в базу дефектов превращает каждый инцидент в прививку: организация, не ведущая такой базы, обречена коллекционировать одинаковые приключения с нарастающим бюджетом.

Любое незначительно отклонение на каждом из предшествующих этапов проектирования или строительства, может вызвать эффект накопления и маскировки истинной причины неисправности, поэтому необходимо не только принятие слаботочных систем в эксплуатацию со всем пакетом проектной и исполнительной документации (включая технические паспорта), но и по возможности заблаговременный контроль деятельности проектировщиков и строителей представителями эксплуатирующей организации — ведь именно на этапе эксплуатации становится очевидной истинность закона народной мудрости: «скупой платит дважды, а дурак — трижды».

Классический сюжет такого накопления: линия, смонтированная с натяжением на грани нормы (стройка), уложенная рядом с силовым кабелем чуть ближе допустимого (проект «оптимизировали» по месту), годами работает — пока стареющая изоляция и подросшие наводки не сложатся в плавающий дефект, проявляющийся только по вторникам при включении приточной вентиляции. Диагностика таких многослойных дефектов без исполнительной документации и истории изменений — спиритический сеанс; с ними — детектив с уликами, и разница в трудозатратах между жанрами достигает порядка.

Лучшие из известных автору практик оформляют это институционально: будущий главный инженер эксплуатации входит в проектные совещания с правом голоса по вопросам обслуживаемости, согласует выбор марок оборудования (унификация с уже эксплуатируемым парком экономит на ЗИПе и обучении больше, чем любая скидка поставщика) и принимает скрытые работы наравне с технадзором. Возражение «эксплуатации ещё нет, объект не построен» парируется арифметикой: ставка инженера на год стройки — копейки против стоимости переделок, которые он предотвратит, всего лишь читая чертежи с вопросом «а как я буду это обслуживать?» — вопросом, который проектировщику из главы 11 задать некому, кроме него.

Процедура приёмки в эксплуатацию — последний шлюз, где будущий владелец систем может конвертировать свою позицию в качество: полный комплект исполнительной документации и паспортов, наборы паролей и прав администратора (передача объектов с «admin/admin», увы, жанр не вымерший — глава 9 нервно кивает), исходные конфигурации и лицензии ПО, обученный персонал с подписями в журналах, закрытые замечания комплексных испытаний. Гарантийный период при этом работает только у того, кто им пользуется: дефекты фиксируются актами с датами внутри гарантии, переписка ведётся письменно, а «потом заодно исправят» — это юридический синоним «никогда».

В процессе эксплуатации также может возникнуть техническая необходимость изменения состава или настройки обслуживаемых систем, например, оформленный заявкой от службы безопасности запрос по переносу видеокамеры системы видеонаблюдения или изменение её сектора наблюдения, тогда ответственность за соответствие требованиям нормативно-технической документации снимается с проектной и строительно-монтажной организаций.

Поэтому документация обязана жить вместе с объектом: каждая согласованная заявка на изменение завершается актуализацией схем и моделей (та самая исполнительная модель из главы 11 в режиме as-maintained), иначе через пять лет реальной конфигурации не знает никто, включая саму систему. Тихая эрозия соответствия — камера, переехавшая на три метра; шлейф, перекинутый на соседний прибор; дверь, выведенная из сценария «на время ремонта» навсегда, — не фиксируется никаким аудитом, кроме сверки с натурой, и накапливается до качественного скачка: объект, формально оснащённый по проекту, фактически защищён по преданиям.

Полезный институт против этой эрозии — периодический комплексный аудит систем безопасности силами, не зависящими от обслуживающего подрядчика (проверять работу того, кто проверяет сам себя, — методологическая ошибка, знакомая по главе 8): выборочные испытания извещателей реальным стимулом (имитатором дыма, а не кнопкой «тест»), хронометраж реакции на тревоги, сверка прав доступа с действующим штатным расписанием, контрольное восстановление из резервных копий. Годовой цикл таких проверок с трендом результатов даёт руководству то, чего не дают отчёты подрядчика, — независимую производную состояния: куда движется защищённость объекта, а не только где она была в день последнего акта.

Обеспечение пожарной безопасности требует обязательного лицензирования деятельности как на этапе монтажа, так и на этапе обслуживания. Требования транспортной безопасности регулируются соответствующими постановлениями правительства. Необходимость соответствия систем физической безопасности определяется приказами министерств и силовых ведомств, внутренними регламентами (например, банковских организаций), требованиями к уровню обеспечения секретности (две серёжки бывают не только у пиратов).

Лицензионно-разрешительный ландшафт стоит знать рельефно: монтаж и обслуживание средств обеспечения пожарной безопасности — лицензия МЧС с аттестованными специалистами и оснащением; деятельность, связанная с криптографией и гостайной, — епархия ФСБ; техническая защита конфиденциальной информации — ФСТЭК; частная охранная деятельность — Росгвардия и её регламенты. Для эксплуатирующей организации это не только барьеры входа, но и инструмент договорной гигиены: проверка действующих лицензий и аттестаций подрядчика — первая строка чек-листа закупки услуг, ибо работы, выполненные ненадлежащим лицом, юридически могут оказаться невыполненными вовсе — со всеми вытекающими для страховых случаев и проверок.

Сети связи и системы автоматизации имеют свою специфику эксплуатации, поскольку сети связи, как правило связаны с информационными технологиями, где соглашение об уровне обслуживания (Service Level Agreement, или SLA) определяет уровень качества предоставляемых услуг, а системы автоматизации, зачастую, требуют непосредственного вовлечения как инженеров автоматизируемых систем, так и линейного персонала.

В переводе на управленческий: SLA задаёт измеримые обязательства — время реакции на заявку по категориям критичности, время восстановления, плановую готовность, окна обслуживания — и санкции за их нарушение, превращая «они вообще приезжают?» в таблицу с числами. Выбор между собственной службой эксплуатации и аутсорсингом решается экономикой компетенций из главы 8: редкие специализации (например, по конкретной марке АТС или системе пожаротушения) выгоднее арендовать, массовые и критичные ко времени реакции — держать при себе; гибрид с собственным «умным заказчиком», способным грамотно принимать работу подрядчиков, на практике устойчивее обеих чистых форм.

Специальные системы требуют наличия специальных средств диагностики их исправности (например, наборы тест-объектов для рентгено-телевизионных установок), а технологические системы критичны к простоям (сбои в их работе могут повлечь серьёзные убытки).

Важны и собственные требования к персоналу: операторы досмотровых комплексов аттестуются с проверкой распознавания тестовых изображений, дозиметрический контроль и санитарные правила добавляют слой ответственности, неведомый обслуживанию видеокамер. Общий принцип: чем специальнее система, тем раньше при её закупке следует задать вопрос «кто и почём будет это обслуживать в нашем городе» — встречаются приобретения, единственный сервисный инженер которых прилетает из-за границы по визе и тарифу, рядом с которым простой системы выглядит бюджетной альтернативой.

У критичных к простою систем есть и собственная арифметика дежурства: стоимость часа простоя (глава 8 с её RTO кланяется) делённая на скорость реакции диктует модель присутствия — от «приедем завтра» через дежурного на телефоне до круглосуточной смены на объекте; «персонал» супротив «простой» — та же страховая математика, что и везде в этой книге. Сэкономленная ставка ночного дежурного инженера прекрасно смотрится в бюджете ровно до первой ночной аварии холодоснабжения серверной — события, которое умеет превращать годовую экономию в недельный убыток с точностью хорошего курсового калькулятора.

Эксплуатация слаботочных систем требует системного подхода, чёткой документации и соблюдения нормативов. Инвестиции в обучение персонала и цифровые инструменты окупаются снижением простоев и рисков.

И заключительная мысль главы, выстраданная годами в этой роли: эксплуатация — единственная фаза, в которой системы безопасности встречаются со своим предназначением. Проект и стройка создают потенциал; реализуется он или истлевает — решается в дежурке, в графике ТО и в отношении организации к людям, которые тихо делают, чтобы ничего не происходило. Парадокс профилактики из главы 6 бьёт по ним больнее всех — их успех невидим по определению, — и руководитель, научившийся видеть и оплачивать невидимое, получает то, что не купить ни за какой CAPEX: объект, который не преподносит сюрпризов. Об инструментах, делающих этот труд легче и умнее, — следующая глава.

Постскриптум о конце пути, который вежливо обходят учебники: у систем есть и фаза вывода из эксплуатации, и она тоже инженерная. Демонтаж с сохранением работоспособности остающихся систем (граница между «отключили лишнее» и «оборвали нужное» проходит по качеству документации), миграция архивов и журналов с соблюдением сроков хранения и закона о персональных данных, гарантированное уничтожение носителей (видеоархив на списанном регистраторе, уехавшем на барахолку, — классика утечек из главы 9), экологичная утилизация аккумуляторов и изотопных извещателей старых серий.

Жизненный цикл замыкается так же, как начинался, — документами и ответственностью; разница лишь в том, что на этом конце их качество проверяет уже не экспертиза, а чья-то будущая беспечность.