Знаю отличную шутку про UDP, но не факт, что она до вас дойдет.
Для читателей, до которых шутка не дошла (что лишь подтверждает её правоту), поясню: транспортный протокол UDP отправляет пакеты в сеть без установления соединения и без подтверждения доставки — выстрелил и забыл; его собрат TCP, напротив, педантично устанавливает соединение трёхэтапным рукопожатием, нумерует каждый байт, дожидается квитанций и перепосылает потерянное.
Казалось бы, зачем вообще нужен ненадёжный протокол?
Затем, что надёжность стоит времени: для живого видео или голоса опоздавший пакет хуже потерянного, и лучше мириться с редкими артефактами картинки, чем смотреть трансляцию с растущей задержкой. Потому-то потоковое видео и голос часто ездят на UDP, а базы данных, файлы и веб — на TCP. Тревоги охранных систем — случай особый: их нельзя ни потерять, ни задержать, поэтому какой бы транспорт ни выбрал производитель, подтверждение доставки у них реализуется на прикладном уровне — сервер квитирует событие, контроллер повторяет его до получения квитанции. Инженерия, как обычно, не выбирает «лучший» протокол, а подбирает компромисс под задачу.
Основной задачей сетей связи является передача данных и информации между абонентами, пользователями, устройствами и контроллерами, серверами и рабочими станциями, иными словами — организация и поддержание информативной связи между компонентами сети.
История этой дисциплины спрессована до неприличия плотно. В 1832 году русский изобретатель Павел Шиллинг продемонстрировал первый практический электромагнитный телеграф, Морзе добавил к жанру свой код, и к концу XIX века телеграфные кабели уже лежали на дне Атлантики. Телефон Белла (1876) научил медь переносить голос, радио Попова и Маркони (1895−1896) отвязало связь от проводов, а дальше темп только нарастал: 1969-й — первые четыре узла ARPANET, 1983-й — переход сети на стек TCP/IP, рубеж 1989−1991 годов — Тим Бернерс-Ли дарит миру Всемирную паутину.
Теоретический фундамент под всем этим зданием один: работа Клода Шеннона «Математическая теория связи» (1948), которая ввела бит как меру информации и доказала предельную теорему о пропускной способности канала — любой канал с шумом имеет точный потолок скорости безошибочной передачи, и весь прогресс модемов, Wi-Fi и сотовых поколений есть планомерное подползание инженеров к этому шенноновскому пределу.
Любопытно, что и здесь не обошлось без слаботочной генеалогии: первые компьютерные сети ездили по телефонным парам, первые модемы «свисто-пердели» в трубку аналоговых АТС, а современный Ethernet унаследовал витую пару у телефонистов вместе с самой идеей скрутки. Связь и вычисления срастались десятилетиями, пока не стало невозможно сказать, где кончается одно и начинается другое: сегодняшний коммутатор — это компьютер, раздающий пакеты, а сегодняшний компьютер без сети — статистическая погрешность. Конвергенция, о которой так долго говорили маркетологи, тихо случилась и стала бытом.
За кадром пользовательской простоты «снял трубку — набрал» работает мировая машинерия планов нумерации, межоператорских стыков и протоколов сигнализации, чьи уязвимости (известные специалистам атаки на протокол SS7 с перехватом SMS) аукнулись, между прочим, и информационной безопасности из главы 9 — именно из-за них SMS считается слабым вторым фактором. Связь — редкая отрасль, где архитектурные решения полувековой давности живут в продакшене рядом с новейшими: TDM-потоки доживают в лифтовых диспетчерских, аналоговые «сухие пары» — в охранной сигнализации, и сетевой инженер объекта обязан быть немного археологом.
Как в своё время телеграф шокирующе ускорил информационную эволюцию в обществе, так и последующее изобретение телефона и интернета позволило с той же практически мгновенной скоростью обмениваться ещё большим количеством информации. Однако традиционное личное общение людей биологически так же важно, как и раньше, а электронная почта дополнила традиционную бумажную.
Социальную динамику этого процесса неплохо схватывает эмпирический закон Меткалфа: полезность сети растёт пропорционально квадрату числа её участников — телефон, факс, мессенджер и социальная сеть ценны ровно настолько, насколько в них уже есть собеседники. Отсюда и взрывной, нелинейный характер распространения сетевых технологий, и столь же нелинейные последствия их отказов: сбой магистрального маршрутизатора или DNS-провайдера ощущается не как поломка прибора, а как маленький конец света районного масштаба — современное здание без сети деградирует до состояния бетонной коробки с красивыми лампочками.
Обратная сторона той же квадратичной медали — сетевые эффекты отказов и атак: чем связнее система, тем быстрее по ней распространяется не только польза, но и зараза, будь то вирус, шторм широковещательных пакетов или каскадное отключение. Сетевые инженеры потому исповедуют принцип отсеков подводной лодки — домены отказа должны быть малы, а переборки (сегменты, зоны, экраны) — герметичны, и к этой морской метафоре мы ещё вернёмся в разговоре о рисках в главе 7.
Практически всегда на объекте есть наружные сети связи (НСС), которые позволяют соединить как здания и сооружения, входящие в состав объекта, так и сам объект с более крупными, например, сетью провайдера. Важное значение имеет качество выполнения кабельной канализации НСС, поскольку недосмотр на этапе проектирования или строительства может значительно повлиять на удобство эксплуатации и безопасность.
Практика подсказывает здесь несколько недорогих на этапе стройки и баснословно дорогих впоследствии решений: закладывать резервные каналы труб кабельной канализации (асфальт раскапывают не для того, чтобы положить один кабель, а потому, что забыли положить второй), предусматривать два независимых ввода в здание с разных направлений и от разных провайдеров — ибо экскаватор, легендарный естественный враг волоконной оптики, не разбирает, насколько критичен ваш объект, — и документировать трассы с колодцами так, как будто читать исполнительную схему будет следователь. Иногда, к слову, так и случается.
Внутри отдельно взятого здания или сооружения основными составляющими стоит указать систему кабельных коммуникаций (СКК), как правило состоящую из кабельных лотков, структурированную кабельную систему (СКС), включающую в себя кабельные линии витой пары Ethernet и ВОЛС локальной вычислительной сети (ЛВС), иногда сети систем безопасности, а также иные различные системы радиофикации (РТ), часофикации (ЧС), телефонизации (ТФ) и пр. Сети систем пожарной автоматики обязательно прокладываются отдельно в ОКЛ, а сети систем автоматизации — в собственных кабельных конструкциях.
Структурированная кабельная система потому и называется структурированной, что строится по стандартам (международный ISO/IEC 11801, американский TIA-568, отечественный ГОСТ Р 53246) как универсальная среда, не привязанная к конкретному приложению: одна и та же розетка должна одинаково честно служить телефону, компьютеру, камере или точке доступа. Стандарты задают иерархию подсистем — магистрали комплекса и здания, горизонтальная подсистема, коммутационные узлы с патч-панелями, — а вот выбор среды для каждой из них остаётся за проектом. Типичное и в большинстве случаев оправданное решение — оптика на магистралях и витая пара в горизонтали, но это распространённая практика, а не требование: бывают и медные магистрали в небольших зданиях, и оптика до рабочего места там, где того требуют дистанции или электромагнитная обстановка.
Сама витая пара — изящный физический трюк: попарная скрутка проводников (идея, восходящая ещё к телефонным линиям Белла) превращает внешнюю помеху в синфазную, которую дифференциальный приёмник вычитает, а разный шаг скрутки у разных пар давит взаимные наводки. Категории кабеля — 5e, 6, 6A и далее — это, по сути, гарантированная полоса частот (от 100 МГц до 500 МГц и выше) под скорости от гигабита до 10 Гбит/с, с вариантами экранирования от простого U/UTP до S/FTP, где общий оплёточный экран дополнен фольгированным экраном каждой пары (это именно экраны от помех, а не броня: механическую защиту даёт отдельная конструкция кабеля).
Финальный аккорд монтажа — сертификационное тестирование полевым анализатором, измеряющим затухание, перекрёстные наводки NEXT, возвратные потери и прочую частотную алгебру. Протокол измерений — необходимое, но не достаточное условие системной гарантии производителя на 20–25 лет: такую гарантию дают по своей программе — при монтаже сертифицированным инсталлятором, из компонентов одного производителя (или одобренных им) и после проверки результатов тестирования самим производителем. Без этих условий протокол подтверждает лишь, что линия соответствует категории сегодня. По самой СКС лучший отечественный учебник написал А. Б. Семёнов с соавторами С. К. Стрижаковым и И. Р. Сунчелеем — «Структурированные кабельные системы» (2014); это та книга, по которой в стране и учат, и проектируют.
Пара слов о волоконной кухне, раз уж оптика стала магистральным стандартом: сварка волокон аппаратом с юстировкой по сердцевине даёт потери в сотые доли децибела, механические соединители — компромисс для аварийных времянок; рефлектометр (OTDR) просвечивает линию импульсом и рисует профиль затухания по длине, находя изгиб, сварку и обрыв с точностью до метров; чистота коннекторов — религия отрасли (микронная пылинка на торце — это децибелы потерь и выжженные при больших мощностях торцы), и микроскоп с салфетками в чемодане оптика важнее половины остального. Бюджет затухания линии — простая бухгалтерия децибел между мощностью передатчика и чувствительностью приёмника — считается на этапе проекта, а проверяется приёмкой: оптика прощает мало и помнит всё.
Телефонизация зачастую выполняется на базе цифровой IP телефонии с использованием цифровой IP-АТС, а в случае жилых помещений (квартир или апартаментов) к абонентам приходят линии оптической связи (например, GPON).
Технология GPON элегантна экономически: пассивная оптическая сеть делит одно волокно станционного терминала через каскад безэлектрических сплиттеров на десятки абонентских устройств, раздавая до 2,5 Гбит/с нисходящего потока без единого активного (а значит — питаемого, обслуживаемого, ломающегося) узла между станцией и квартирой. Расплата — общая среда: полоса делится между соседями по дереву, а диагностика пассивной ветви требует рефлектометра и понимания, что именно ты меришь. Для жилого фонда баланс очевидно в пользу GPON, что и объясняет его победное шествие по новостройкам.
Сама IP-телефония, к слову, — показательный пример победы программного над аппаратным: место релейных АТС размером с комнату занял сервис на базе протокола SIP, которому всё равно, стоит ли он на железном сервере в подвале или в виртуальной машине в облаке. Голос оцифровывается кодеками с разной степенью прожорливости, и его качество в сети определяется не «толщиной» канала, а дисциплиной: задержка, джиттер и потери пакетов нормируются жёстче, чем для любого другого трафика, поэтому в коммутаторах включается приоритизация QoS, выделяющая голосу и видео отдельную полосу движения. Когда у заказчика «телефония заикается», опытный инженер первым делом смотрит не на АТС, а на настройки очередей в сети — и почти никогда не ошибается.
В здании выделяется помещение под серверную, где в сетевых шкафах размещается активное сетевое оборудование — коммутаторы ядра и распределения, серверы, а на этажах размещаются кроссовые, в которых в кроссовых шкафах устанавливают коммутаторы доступа и распределения, образуя таким образом систему передачи данных (СПД).
Классическая архитектура корпоративной СПД трёхэтажна — доступ, распределение, ядро, — и каждый этаж резервируется: коммутаторы ядра дублируются, линии агрегируются, протоколы устранения петель и динамической маршрутизации перестраивают пути за доли секунды.
Серверная при этом — не «комната с компьютерами», а инженерное сооружение со своими нормативами: девятнадцатидюймовые стойки с продуманными горячими и холодными коридорами, прецизионное кондиционирование, источники бесперебойного питания с честно рассчитанным временем автономии, газовое пожаротушение из главы 2, контроль доступа из главы 3 и контроль протечек — ибо вода, как известно, находит сервер быстрее, чем сисадмин находит причину. Для центров обработки данных всё это формализовано в уровнях Tier I–IV Uptime Institute. Описывать их нужно через топологию, а не через часы простоя: Tier I — базовая инфраструктура без резервирования, Tier II — с резервными компонентами, Tier III — с возможностью обслуживать любой элемент без остановки нагрузки (concurrently maintainable), Tier IV — отказоустойчивая, с независимыми дублированными инженерными путями, переживающая единичный отказ. Популярные таблички «Tier III — 1,6 часа простоя в год» Uptime Institute из своего стандарта убрал ещё в 2009 году: сертификат топологии говорит о том, как построена инфраструктура, а не о том, какую доступность она покажет в эксплуатации — последнее зависит от людей и процедур не меньше, чем от схемы. Специфику кабельной инфраструктуры именно центров обработки данных тот же А. Б. Семёнов разобрал отдельной книгой — «Структурированные кабельные системы для центров обработки данных» (2014), которую стоит держать под рукой всякому, кто берётся за серверную всерьёз.
Распределение узлов LAN (local area network) в частях здания позволяет соблюдать ограничение длины горизонтальной части СКС: по ISO/IEC 11801 и TIA-568 постоянная линия (permanent link) от патч-панели до розетки не должна превышать 90 метров, а весь канал (channel) вместе с коммутационными и абонентскими шнурами — 100 метров. Остающиеся 10 метров делятся между шнурами в кроссовой и у рабочего места не обязательно поровну — главное, чтобы канал в сумме уложился в сотню.
Сами «сто метров» — не суеверие, а граница, при которой затухание и временные искажения сигнала в меди для кабеля соответствующей категории гарантированно укладываются в бюджет приёмника Ethernet; но гарантия эта действует лишь при соблюдении категории, качества монтажа и подтверждении измерениями — одной длины для неё мало. Дальше — либо оптика, либо активное оборудование посередине.
Беспроводным продолжением СКС служит Wi-Fi, который проектируется не менее серьёзно: радиообследование с тепловой картой покрытия, частотное планирование непересекающихся каналов, плотность точек под количество клиентов, бесшовный роуминг для голоса и видео. Поколения стандарта IEEE 802.11 сменяются с маркетинговыми псевдонимами Wi-Fi 5, 6 и 7, наращивая модуляцию, ширину каналов и работу с множеством клиентов одновременно, но физику не обманешь: стена из железобетона ест децибелы с аппетитом, который не лечится никаким поколением, — лечится он только грамотной расстановкой точек, то есть, опять-таки, проектированием.
К сетям связи можно также отнести и системы коллективного телевидения (СКПТ), визуального (СВИ) и звукового информирования (СЗИ), поскольку все они доносят некую информацию пользователям здания.
Этот информационный слой стремительно цифровизуется: коллективное телевидение мигрирует от антенных усилителей к IPTV-потокам в общей СПД, табло визуального информирования превратились в управляемые из единого центра экраны digital signage с расписаниями, навигацией и рекламой, звуковое информирование делит усилители и громкоговорители с СОУЭ из главы 2 (с безусловным приоритетом пожарных сообщений, разумеется). Добавим сюда системы усиления сотового сигнала в железобетонных недрах паркингов (где связь нужна не маркетингу, а службе эвакуации), микросотовую DECT-телефонию складов и больниц, беспроводные датчики интернета вещей — и станет ясно, почему граница между «сетями связи» и «всем остальным зданием» с каждым годом всё условнее.
Как и к системам безопасности, к сетям связи предъявляются требования информационной безопасности, а зачастую на некоторых объектах должны быть внедрены и средства технической защиты конфиденциальной информации (ТЗКИ).
Под ТЗКИ скрывается отдельная вселенная, которой мы коснёмся в главе 9: побочные электромагнитные излучения и наводки (ПЭМИН), по которым теоретически восстанавливается изображение монитора за стеной, виброакустические каналы утечки через окна и трубы отопления, закладные устройства и защита выделенных помещений. Для проектировщика сетей связи практический вывод приземлён: на режимных объектах трассы, экранирование, заземление и даже взаимное расположение «секретных» и «открытых» кабельных линий регламентированы, и согласовывать их надо до монтажа, а не после визита аттестационной комиссии или представителей компетентных органов.
Технически и функционально сети связи можно отнести к электросвязи, поскольку они отличаются от систем пожарной автоматики, безопасности и автоматизации, но как уже упоминалось, в некоторых случаях сети связи могут выполнять функцию среды передачи данных, например, для систем видеонаблюдения.
Не стоит упускать необходимость размещения межсетевых экранов в структуре ядра ЛВС, а количество портов СПД для абонентских устройств сверять с количеством розеток СКС. Выбор бренда коммутаторов для объектов критической информационной инфраструктуры (КИИ) теперь зависит и от геополитической обстановки, а отечественные микропроцессоры (например, семейство «Байкал») по технологическим нормам производства заметно отстают от мировых лидеров — хотя сами по себе нанометры мало что говорят о пригодности коммутатора: для объектовой сети важнее производительность, поддержка, обновления и выполнение требований защиты.
Сегментация — вообще главный архитектурный инструмент сетевого проектировщика: виртуальные сети VLAN нарезают общую физическую инфраструктуру на изолированные логические — отдельно офисные пользователи, отдельно видеонаблюдение, отдельно СКУД, отдельно диспетчеризация, — а межсетевые экраны на стыках пропускают между ними только явно разрешённые потоки. Это прямая сетевая реализация рубежей защиты из главы 3: компрометация рабочей станции бухгалтера не должна открывать дорогу к контроллерам пожарной автоматики, и если открывает — это не сеть, а проходной двор с управляемыми коммутаторами. Хорошим тоном считается и защита самого «железа»: аутентификация устройств на портах по стандарту 802.1X, отключение неиспользуемых портов, отдельная сеть управления оборудованием.
Не лишним будет упомянуть и кабельный журнал с маркировкой: сеть, в которой порты подписаны, трассы задокументированы, а схема актуальна, обслуживается в разы быстрее и дешевле — тогда как «архаичное» искусство трассировки неподписанного патч-корда сквозь фальшпотолок относится к самым дорогооплачиваемым видам спелеологии. Документация — это, по сути, резервная копия знаний инженера, который когда-нибудь уволится, и отношение к ней отличает эксплуатируемую систему от системы, которую предстоит пересобрать заново.
Эксплуатационная гигиена сетей дополняется управлением конфигурациями: версионируемые бэкапы конфигов всего активного оборудования (и автоматическое сравнение «что изменилось со вчера»), документированные стандарты настройки порта/VLAN/доступа, запрет безымянных изменений на боевом железе — дисциплина, которую ITIL из главы 13 принесёт всему хозяйству, но сетям она нужна первой: именно конфигурация коммутатора — то место, где «временное» решение пятилетней давности встречает новый видеопоток и рождает плавающую проблему — тот самый «плавающий» сбой, который всплывает в самый неподходящий момент, неделями отказывается воспроизводиться по команде и потому обрастает на объекте полумистическими легендами вроде «да оно само, обычно по вторникам».
Венчает сетевое хозяйство синхронизация времени — незаметный сервис NTP, о существовании которого вспоминают в худший из возможных моментов: при разборе инцидента. Если часы видеорегистратора, контроллера СКУД и пожарной панели живут каждые в своей эпохе, то восстановить хронологию событий — кто вошёл, что сработало, когда отключилось — становится мучительно трудно: иногда её удаётся сшить по общим событиям, видимым нескольким системам, но доказательная ценность таких архивов резко падает. Одного NTP-сервера, впрочем, тоже недостаточно: нужен доверенный источник времени (GPS/ГЛОНАСС-приёмник или проверенный внешний сервер), контроль расхождения часов на устройствах, единая дисциплина часовых поясов, защита от подмены времени и — отдельно — защита целостности самих журналов, чтобы точное время не оказалось приписано к подчищенной записи. Всё это стоит копейки и экономит следствию (во всех смыслах) недели.
И коли уж зашла речь о незаметных сервисах — DNS и DHCP на объектовых сетях заслуживают той же аккуратности: статические адреса критичного оборудования документируются в адресном плане, диапазоны DHCP не пересекаются с ними (классика самодельных сетей — камера, получившая адрес чужого регистратора после перезагрузки), а внутренние имена сервисов не зависят от внешнего интернета — объект, у которого видеонаблюдение перестаёт работать при обрыве провайдерского канала из-за облачного DNS, спроектирован против собственных интересов, как бы модно ни звучало слово «облако» в коммерческом предложении.
Тема импортозамещения, впрочем, глубже анекдотов про нанометры: для критической инфраструктуры вопрос «чей процессор и чья прошивка» — это вопрос управляемости рисков, а не патриотической эстетики. Недокументированные возможности, удалённые механизмы обновления, зависимость от санкционной политики вендора — всё это полноценные угрозы из главы 7, и реестры доверенного оборудования с сертификацией ФСТЭК — попытка ими управлять. Инженерная честность требует признать: технологический разрыв реален, но реальна и логика, по которой коммутатор объектовой сети безопасности не должен управляться с другого континента.
Помимо «железной» части в сетях связи не менее важны и программно-логические абстракции: маски, подсети, VLAN’ы, конфиги, прошивки, модель OSI, TCP/IP, UDP, спуфинг, loopback и так далее и тому подобное!
Чтобы этот поток терминов не выглядел заклинанием, дам читателю опору: эталонная модель OSI делит сетевое взаимодействие на семь уровней — физический (биты в проводе), канальный (кадры и MAC-адреса, царство коммутаторов), сетевой (пакеты и IP-адреса, царство маршрутизаторов), транспортный (те самые TCP и UDP), а выше — сеансовый, представления и прикладной, где живут протоколы приложений.
Каждый уровень вкладывает данные верхнего в свой «конверт» — это и есть инкапсуляция, а сетевой инженер, читающий дамп трафика, попросту вскрывает конверты по очереди. Боевой стек TCP/IP укладывает ту же логику в четыре уровня, но семиуровневая модель прижилась как общий язык: фраза «проблема на втором уровне» экономит профессионалам часы взаимных расспросов — и потому модель OSI остаётся обязательной к выучиванию, как таблица умножения, хотя в современных сетях безраздельно царит стек TCP/IP, а семейство протоколов OSI, когда-то задуманное как его конкурент, осталось в основном на бумаге и в отдельных нишах.