Глава 4. Сети связи.


Знаю отличную шутку про UDP, но не факт, что она до вас дойдет.



Для читателей, до которых шутка не дошла (что лишь подтверждает её правоту), поясню: транспортный протокол UDP отправляет пакеты в сеть без установления соединения и без подтверждения доставки — выстрелил и забыл; его собрат TCP, напротив, педантично устанавливает соединение трёхэтапным рукопожатием, нумерует каждый байт, дожидается квитанций и перепосылает потерянное.
Казалось бы, зачем вообще нужен ненадёжный протокол?

Затем, что надёжность стоит времени: для живого видео или голоса опоздавший пакет хуже потерянного, и лучше мириться с редкими артефактами картинки, чем смотреть трансляцию с растущей задержкой. Потому-то тревоги СКУД и потоковое видео часто ездят на UDP, а базы данных, файлы и веб — на TCP: инженерия, как обычно, не выбирает «лучший» протокол, а подбирает компромисс под задачу.
Основной задачей сетей связи является передача данных и информации между абонентами, пользователями, устройствами и контроллерами, серверами и рабочими станциями, иными словами организация и поддержания информативной связи между компонентами сети.

История этой дисциплины спрессована до неприличия плотно. В 1832 году русский изобретатель Павел Шиллинг продемонстрировал первый практический электромагнитный телеграф, Морзе добавил к жанру свой код, и к концу XIX века телеграфные кабели уже лежали на дне Атлантики. Телефон Белла (1876) научил медь переносить голос, радио Попова и Маркони (1895−1896) отвязало связь от проводов, а дальше темп только нарастал: 1969-й — первые четыре узла ARPANET, 1983-й — переход сети на стек TCP/IP, рубеж 1989−1991 годов — Тим Бернерс-Ли дарит миру Всемирную паутину. Теоретический фундамент под всем этим зданием один: работа Клода Шеннона «Математическая теория связи» (1948), которая ввела бит как меру информации и доказала предельную теорему о пропускной способности канала — любой канал с шумом имеет точный потолок скорости безошибочной передачи, и весь прогресс модемов, Wi-Fi и сотовых поколений есть планомерное подползание инженеров к этому шенноновскому пределу.

Любопытно, что и здесь не обошлось без слаботочной генеалогии: первые компьютерные сети ездили по телефонным парам, первые модемы «свисто-пердели» в трубку аналоговых АТС, а современный Ethernet унаследовал витую пару у телефонистов вместе с самой идеей скрутки. Связь и вычисления срастались десятилетиями, пока не стало невозможно сказать, где кончается одно и начинается другое: сегодняшний коммутатор — это компьютер, раздающий пакеты, а сегодняшний компьютер без сети — статистическая погрешность. Конвергенция, о которой так долго говорили маркетологи, тихо случилась и стала бытом.

Добавим в эту конвергентную копилку и телефонную нумерацию с сигнализацией: за кадром пользовательской простоты «снял трубку — набрал» работает мировая машинерия планов нумерации, межоператорских стыков и протоколов сигнализации, чьи уязвимости (известные специалистам атаки на протокол SS7 с перехватом SMS) аукнулись, между прочим, и информационной безопасности из главы 9 — именно из-за них SMS считается слабым вторым фактором. Связь — редкая отрасль, где архитектурные решения полувековой давности живут в продакшене рядом с новейшими: TDM-потоки доживают в лифтовых диспетчерских, аналоговые «сухие пары» — в охранной сигнализации, и сетевой инженер объекта обязан быть немного археологом.

Как в своё время телеграф шокирующе ускорил информационную эволюцию в обществе, так и последующее изобретение телефона и интернета позволило с той же практически мгновенной скоростью обмениваться ещё большим количеством информации. Однако традиционное личное общение людей биологически также важно, как и раньше, а электронная почта дополнила традиционную бумажную.
Социальную динамику этого процесса неплохо схватывает эмпирический закон Меткалфа: полезность сети растёт пропорционально квадрату числа её участников — телефон, факс, мессенджер и социальная сеть ценны ровно настолько, насколько в них уже есть собеседники. Отсюда и взрывной, нелинейный характер распространения сетевых технологий, и столь же нелинейные последствия их отказов: сбой магистрального маршрутизатора или DNS-провайдера ощущается не как поломка прибора, а как маленький конец света районного масштаба — современное здание без сети деградирует до состояния бетонной коробки с красивыми лампочками.

Обратная сторона той же квадратичной медали — сетевые эффекты отказов и атак: чем связнее система, тем быстрее по ней распространяется не только польза, но и зараза, будь то вирус, шторм широковещательных пакетов или каскадное отключение. Сетевые инженеры потому исповедуют принцип отсеков подводной лодки — домены отказа должны быть малы, а переборки (сегменты, зоны, экраны) — герметичны, и к этой морской метафоре мы ещё вернёмся в разговоре о рисках в главе 7.

Практически всегда на объекте есть наружные сети связи (НСС), которые позволяют соединить как здания и сооружения, входящие в состав объекта, так и сам объект с более крупными, например, сетью провайдера. Важное значение имеет качество выполнения кабельной канализации НСС, поскольку недосмотр на этапе проектирования или строительства может значительно повлиять на удобство эксплуатации и безопасность.

Практика подсказывает здесь несколько недорогих на этапе стройки и баснословно дорогих впоследствии решений: закладывать резервные каналы труб кабельной канализации (асфальт раскапывают не для того, чтобы положить один кабель, а потому, что забыли положить второй), предусматривать два независимых ввода в здание с разных направлений и от разных провайдеров — ибо экскаватор, легендарный естественный враг волоконной оптики, не разбирает, насколько критичен ваш объект, — и документировать трассы с колодцами так, как будто читать исполнительную схему будет следователь. Иногда, к слову, так и случается.

Внутри отдельно взятого здания или сооружения основными составляющими стоит указать систему кабельных коммуникаций (СКК), как правило состоящую из кабельных лотков, структурированную кабельную систему (СКС), включающую в себя кабельные линии витой пары Ethernet и ВОЛС локально-вычислительной сети (ЛВС), иногда сети систем безопасности, а также иные различные системы радиофикации (РТ), часофикации (ЧС), телефонизации (ТФ) и пр. Сети систем пожарной автоматики обязательно прокладываются отдельно в ОКЛ, а сети систем автоматизации — в собственных кабельных конструкциях.

Структурированная кабельная система потому и называется структурированной, что строится по стандартам (международный ISO/IEC 11 801, американский TIA-568) как универсальная среда, не привязанная к конкретному приложению: одна и та же розетка должна одинаково честно служить телефону, компьютеру, камере или точке доступа. Иерархия СКС канонична: магистрали комплекса и здания на оптике, горизонтальная подсистема на витой паре, коммутационные узлы с патч-панелями. Сама витая пара — изящный физический трюк: попарная скрутка проводников (идея, восходящая ещё к телефонным линиям Белла) превращает внешнюю помеху в синфазную, которую дифференциальный приёмник вычитает, а разный шаг скрутки у разных пар давит взаимные наводки. Категории кабеля — 5e, 6, 6A и далее — это, по сути, гарантированная полоса частот (от 100 МГц до 500 МГц и выше) под скорости от гигабита до 10 Гбит/с, с вариантами экранирования от простого U/UTP до брони S/FTP с индивидуальным экраном каждой пары. Финальный аккорд монтажа — сертификационное тестирование полевым анализатором, измеряющим затухание, перекрёстные наводки NEXT, возвратные потери и прочую частотную алгебру: только протокол измерений превращает пучок проводов в СКС с гарантией производителя на четверть века. По самой СКС лучший отечественный учебник написал А. Б. Семёнов с соавторами С. К. Стрижаковым и И. Р. Сунчелеем — «Структурированные кабельные системы» (2014); это та книга, по которой в стране и учат, и проектируют.

Пара слов о волоконной кухне, раз уж оптика стала магистральным стандартом: сварка волокон аппаратом с юстировкой по сердцевине даёт потери в сотые доли децибела, механические соединители — компромисс для аварийных времянок; рефлектометр (OTDR) просвечивает линию импульсом и рисует профиль затухания по длине, находя изгиб, сварку и обрыв с точностью до метров; чистота коннекторов — религия отрасли (микронная пылинка на торце — это децибелы потерь и выжженные при больших мощностях торцы), и микроскоп с салфетками в чемодане оптика важнее половины остального. Бюджет затухания линии — простая бухгалтерия децибел между мощностью передатчика и чувствительностью приёмника — считается на этапе проекта, а проверяется приёмкой: оптика прощает мало и помнит всё.

Телефонизация зачастую выполняется на базе цифровой IP телефонии с использованием цифровой IP-АТС, а в случае жилых помещений (квартир или апартаментов) к абонентам приходят линии оптической связи (например, GPON).
Технология GPON элегантна экономически: пассивная оптическая сеть делит одно волокно станционного терминала через каскад безэлектрических сплиттеров на десятки абонентских устройств, раздавая до 2,5 Гбит/с нисходящего потока без единого активного (а значит — питаемого, обслуживаемого, ломающегося) узла между станцией и квартирой. Расплата — общая среда: полоса делится между соседями по дереву, а диагностика пассивной ветви требует рефлектометра и понимания, что именно ты меришь. Для жилого фонда баланс очевидно в пользу GPON, что и объясняет его победное шествие по новостройкам.

Сама IP-телефония, к слову, — показательный пример победы программного над аппаратным: место релейных АТС размером с комнату занял сервис на базе протокола SIP, которому всё равно, стоит ли он на железном сервере в подвале или в виртуальной машине в облаке. Голос оцифровывается кодеками с разной степенью прожорливости, и его качество в сети определяется не «толщиной» канала, а дисциплиной: задержка, джиттер и потери пакетов нормируются жёстче, чем для любого другого трафика, поэтому в коммутаторах включается приоритизация QoS, выделяющая голосу и видео отдельную полосу движения. Когда у заказчика «телефония заикается», опытный инженер первым делом смотрит не на АТС, а на настройки очередей в сети — и почти никогда не ошибается.

В здании выделяется помещение под серверную, где в сетевых шкафах размещается активное сетевое оборудования — коммутаторы ядра и распределения, сервера, а на этажах размещаются кроссовые, в которых размещают коммутаторы доступа и распределения в кроссовых шкафах, образуя таким систему передачи данных (СПД).

Классическая архитектура корпоративной СПД трёхэтажна — доступ, распределение, ядро, — и каждый этаж резервируется: коммутаторы ядра дублируются, линии агрегируются, протоколы устранения петель и динамической маршрутизации перестраивают пути за доли секунды. Серверная при этом — не «комната с компьютерами», а инженерное сооружение со своими нормативами: девятнадцатидюймовые стойки с продуманными горячими и холодными коридорами, прецизионное кондиционирование, источники бесперебойного питания с честно рассчитанным временем автономии, газовое пожаротушение из главы 2, контроль доступа из главы 3 и контроль протечек — ибо вода, как известно, находит сервер быстрее, чем сисадмин находит причину. Для центров обработки данных всё это формализовано в уровнях отказоустойчивости Tier I-IV Uptime Institute: от простой инфраструктуры без резервирования до полностью дублированных независимых инженерных путей с допустимым простоем в считаные минуты за год. Специфику кабельной инфраструктуры именно центров обработки данных тот же А. Б. Семёнов разобрал отдельной книгой — «Структурированные кабельные системы для центров обработки данных» (2014), которую стоит держать под рукой всякому, кто берётся за серверную всерьёз.

Распределение узлов LAN (local area network) в частях здания позволяет соблюдать рекомендацию протяженности ветвей горизонтальной части СКС в 90 метров, оставляя по 5 метров на кроссовые шкафы и патч-корды от розеток СКС до абонентских устройств.

Сами «сто метров» — не суеверие, а граница, при которой затухание и временные искажения сигнала в меди гарантированно укладываются в бюджет приёмника гигабитного Ethernet; дальше — либо оптика, либо активное оборудование посередине.

Беспроводным продолжением СКС служит Wi-Fi, который проектируется не менее серьёзно: радиообследование с тепловой картой покрытия, частотное планирование непересекающихся каналов, плотность точек под количество клиентов, бесшовный роуминг для голоса и видео. Поколения стандарта IEEE 802.11 сменяются с маркетинговыми псевдонимами Wi-Fi 5, 6 и 7, наращивая модуляцию, ширину каналов и работу с множеством клиентов одновременно, но физику не обманешь: стена из железобетона ест децибелы с аппетитом, который не лечится никаким поколением, — лечится он только грамотной расстановкой точек, то есть, опять-таки, проектированием.

К сетям связи можно также отнести и системы коллективного телевидения (СКПТ), визуального (СВИ) и звукового информирования (СЗИ), поскольку все они доносят некую информацию пользователям здания.

Этот информационный слой стремительно цифровизуется: коллективное телевидение мигрирует от антенных усилителей к IPTV-потокам в общей СПД, табло визуального информирования превратились в управляемые из единого центра экраны digital signage с расписаниями, навигацией и рекламой, звуковое информирование делит усилители и громкоговорители с СОУЭ из главы 2 (с безусловным приоритетом пожарных сообщений, разумеется). Добавим сюда системы усиления сотового сигнала в железобетонных недрах паркингов (где связь нужна не маркетингу, а службе эвакуации), микросотовую DECT-телефонию складов и больниц, беспроводные датчики интернета вещей — и станет ясно, почему граница между «сетями связи» и «всем остальным зданием» с каждым годом всё условнее.

Как и к системам безопасности, к сетям связи предъявляются требования информационной безопасности, а зачастую на некоторых объектах должны быть внедрены и средства технической защиты конфиденциальной информации (ТЗКИ).
Под ТЗКИ скрывается отдельная вселенная, которой мы коснёмся в главе 9: побочные электромагнитные излучения и наводки (ПЭМИН), по которым теоретически восстанавливается изображение монитора за стеной, виброакустические каналы утечки через окна и трубы отопления, закладные устройства и защита выделенных помещений. Для проектировщика сетей связи практический вывод приземлён: на режимных объектах трассы, экранирование, заземление и даже взаимное расположение «секретных» и «открытых» кабельных линий регламентированы, и согласовывать их надо до монтажа, а не после визита аттестационной комиссии или представителей компетентных органов.

Технически и функционально сети связи можно отнести к электросвязи, поскольку они отличаются от систем пожарной автоматики, безопасности и автоматизации, но как уже упоминалось, в некоторых случаях сети связи могут выполнять функцию среды передачи данных, например, для систем видеонаблюдения.

Не стоит упускать необходимость размещения межсетевых экранов в структуре ядра ЛВС, а количество портов СПД для абонентских устройств сверять с количеством розеток СКС. Выбор бренда коммутаторов для объектов критической инфраструктуры (КИИ) на удивление теперь зависит и от геополитической обстановки, а отечественная индустрия производства микропроцессоров (например, Байкал-М) вынуждает краснеть от количества нанометров в сравнении с технологическими лидерами, например, Apple.

Сегментация — вообще главный архитектурный инструмент сетевого проектировщика: виртуальные сети VLAN нарезают общую физическую инфраструктуру на изолированные логические — отдельно офисные пользователи, отдельно видеонаблюдение, отдельно СКУД, отдельно диспетчеризация, — а межсетевые экраны на стыках пропускают между ними только явно разрешённые потоки. Это прямая сетевая реализация рубежей защиты из главы 3: компрометация рабочей станции бухгалтера не должна открывать дорогу к контроллерам пожарной автоматики, и если открывает — это не сеть, а проходной двор с управляемыми коммутаторами. Хорошим тоном считается и защита самого «железа»: аутентификация устройств на портах по стандарту 802.1X, отключение неиспользуемых портов, отдельная сеть управления оборудованием.

Не лишним будет упомянуть и кабельный журнал с маркировкой: сеть, в которой порты подписаны, трассы задокументированы, а схема актуальна, обслуживается в разы быстрее и дешевле — тогда как «архаичное» искусство трассировки неподписанного патч-корда сквозь фальшпотолок относится к самым дорогооплачиваемым видам спелеологии. Документация — это, по сути, резервная копия знаний инженера, который когда-нибудь уволится, и отношение к ней отличает эксплуатируемую систему от системы, которую предстоит пересобрать заново.

Эксплуатационная гигиена сетей дополняется управлением конфигурациями: версионируемые бэкапы конфигов всего активного оборудования (и автоматическое сравнение «что изменилось со вчера»), документированные стандарты настройки порта/VLAN/доступа, запрет безымянных изменений на боевом железе — дисциплина, которую ITIL из главы 13 принесёт всему хозяйству, но сетям она нужна первой: именно конфигурация коммутатора — то место, где «временное» решение пятилетней давности встречает новый видеопоток и рождает плавающую проблему — тот самый «плавающий» сбой, который всплывает в самый неподходящий момент, неделями отказывается воспроизводиться по команде и потому обрастает на объекте полумистическими легендами вроде «да оно само, обычно по вторникам».

Венчает сетевое хозяйство синхронизация времени — незаметный сервис NTP, о существовании которого вспоминают в худший из возможных моментов: при разборе инцидента. Если часы видеорегистратора, контроллера СКУД и пожарной панели живут каждые в своей эпохе, то восстановить хронологию событий — кто вошёл, что сработало, когда отключилось — невозможно в принципе, и доказательная ценность архивов стремится к нулю. Единый источник точного времени на объекте стоит копейки и экономит следствию (во всех смыслах) недели.

И коли уж зашла речь о незаметных сервисах — DNS и DHCP на объектовых сетях заслуживают той же аккуратности: статические адреса критичного оборудования документируются в адресном плане, диапазоны DHCP не пересекаются с ними (классика самодельных сетей — камера, получившая адрес чужого регистратора после перезагрузки), а внутренние имена сервисов не зависят от внешнего интернета — объект, у которого видеонаблюдение перестаёт работать при обрыве провайдерского канала из-за облачного DNS, спроектирован против собственных интересов, как бы модно ни звучало слово «облако» в коммерческом предложении.

Тема импортозамещения, впрочем, глубже анекдотов про нанометры: для критической инфраструктуры вопрос «чей процессор и чья прошивка» — это вопрос управляемости рисков, а не патриотической эстетики. Недокументированные возможности, удалённые механизмы обновления, зависимость от санкционной политики вендора — всё это полноценные угрозы из главы 7, и реестры доверенного оборудования с сертификацией ФСТЭК — попытка ими управлять. Инженерная честность требует признать: технологический разрыв реален, но реальна и логика, по которой коммутатор объектовой сети безопасности не должен управляться с другого континента.

Помимо «железной» части в сетях связи не менее важна и программно-логические абстракции: маски, подсети, Vlan’ы, конфиги, прошивки, модель OSI, TCP/IP, UDP, спуфинг, loopback и так далее и тому подобное!

Чтобы этот поток терминов не выглядел заклинанием, дам читателю опору: эталонная модель OSI делит сетевое взаимодействие на семь уровней — физический (биты в проводе), канальный (кадры и MAC-адреса, царство коммутаторов), сетевой (пакеты и IP-адреса, царство маршрутизаторов), транспортный (те самые TCP и UDP), а выше — сеансовый, представления и прикладной, где живут протоколы приложений. Каждый уровень вкладывает данные верхнего в свой «конверт» — это и есть инкапсуляция, а сетевой инженер, читающий дамп трафика, попросту вскрывает конверты по очереди. Боевой стек TCP/IP укладывает ту же логику в четыре уровня, но семиуровневая модель прижилась как общий язык: фраза «проблема на втором уровне» экономит профессионалам часы взаимных расспросов — и потому модель OSI остаётся обязательной к выучиванию, как таблица умножения, даже если в чистом виде её никто никогда не реализовал.

Здесь самое время назвать золотой канон литературы по сетям, на котором выросло не одно поколение инженеров: «Компьютерные сети» Эндрю Таненбаума и Дэвида Уэзеролла (2012) для общей картины, «Компьютерные сети. Нисходящий подход» Джеймса Куроуза и Кита Росса (2016) для тех, кому ближе путь «от приложения к проводу», капитальные «Компьютерные сети. Принципы, технологии, протоколы» Виктора и Натальи Олифер (юбилейное издание, 2020) как русскоязычный эталон и практичная «TCP/IP. Сетевое администрирование» Крейга Ханта (2007) для тех, кому всё это завтра настраивать руками.

Добавим сюда адресную арифметику: классический IPv4 с его четырьмя миллиардами адресов исчерпался ещё в 2010-х (регистраторы раздали последние блоки), и мир живёт на смеси трансляции адресов NAT и неторопливо наступающего IPv6 со 128-битным простором, которого хватит на каждую пылинку Солнечной системы. Для слаботочника отсюда следует прозаичное: адресный план объекта — документ не менее важный, чем кабельный журнал, и камера с адресом, назначенным «от балды», обязательно однажды совпадёт с чем-нибудь жизненно важным.
Кстати, именно с уровня сетей связи неплохим кажется решение «смаштабировать» систему мониторинга устройств Zabbix (или аналог) на устройства смежных слаботочных сетей — контроллеры СКУД, видеокамеры СВН, специализированные серверы, пожарные панели и автоматизированные рабочие места (АРМ).

Технически это давно решаемо: протокол SNMP отдаёт состояние любого приличного сетевого устройства, syslog собирает журналы, датчики «жизни» опрашиваются простым эхо-запросом, а пороговые триггеры Zabbix умеют отличать деградацию от катастрофы и будить дежурного только во втором случае. Главная ценность мониторинга, впрочем, не в тревогах, а в накопленной базе нормального поведения: зная обычный профиль трафика и температуры, система замечает аномалию — будь то предвестник отказа коммутатора или незапланированная активность видеокамеры, вдруг полюбившей ночные беседы с зарубежными серверами (привет ботнету Mirai из прошлой главы). Наблюдаемость — это дешёвая страховка, которую почему-то покупают только после первого пожара, в прямом или переносном смысле.

В качестве серверных решений стоит присмотреться к Astra Linux, Ubuntu, FreeBSD, Windows Server в зависимости от требований технического задания и степени критичности объекта с точки зрения государственной инфраструктуры. К аппаратной части ввиду описанной выше ситуации с производством микропроцессоров заградительные меры могут не применяться.

Серверная инфраструктура попутно переживает собственную тихую революцию: виртуализация давно сделала нормой десяток логических серверов на одном физическом, контейнеры упаковали приложения вместе с окружением, а кластеры высокой доступности переносят сервисы с умершего узла раньше, чем оператор заметит моргнувшую пиктограмму. Для слаботочных систем это означает выбор, которого не было десять лет назад: видеоархив и сервер СКУД могут жить в корпоративном облаке — но могут и обязаны ли? Для систем безопасности и пожарной автоматики автономность объекта при потере внешних каналов — не паранойя, а проектное требование, поэтому зрелые решения строятся гибридно: локальная обработка и хранение критики на месте, облако — для агрегации, аналитики и резервных копий.

На этом фундаменте — кабелях, коммутаторах, протоколах и серверах — стоят все прочие герои этой книги: по этим артериям пожарная панель шлёт тревогу, контроллер СКУД сверяет пропуск, а видеокамера несёт свой бесконечный репортаж. Осталось рассмотреть последнего члена слаботочного квартета — автоматизацию. Строго говоря, дирижирует она не самой слаботочкой, а инженерными системами здания — вентиляцией, теплом, электрикой, водой; со слаботочным же квартетом она, скорее, держит общий ритм на верхнем уровне, сводя сигналы пожарной автоматики, безопасности и связи в единую картину. Но без этого дирижёра оркестр здания играет вразнобой — потому и рассмотрим его отдельно.