Есть в Москве обычное с виду здание на улице Бутлерова, 7. Большинство людей спокойно проезжает мимо и даже не подозревает, сколько сетевой инфраструктуры спрятано внутри. Когда в новостях появляется фраза «проблемы на ММТС-9» или «авария на М9», последствия иногда видят пользователи совершенно других компаний. Перестают открываться сайты, растут задержки, отваливаются отдельные сервисы, провайдеры меняют маршруты.
ММТС-9 расшифровывается как Московская междугородная телефонная станция № 9. Но сегодня воспринимать М9 просто как телефонную станцию неправильно. Площадка превратилась в один из старейших и наиболее насыщенных телекоммуникационных узлов Москвы. Здесь размещают оборудование операторы, дата-центры и интернет-компании, здесь присутствует MSK-IX, а само здание десятилетиями остается удобным местом, где независимые сети физически встречаются друг с другом.
Как телефонная станция превратилась в «сердце Рунета»
История М9 началась задолго до массового интернета. Московскую междугородную телефонную станцию № 9 ввели в эксплуатацию в 1978 году. Москва готовилась к Олимпиаде, резко росли требования к междугородной и международной связи, поэтому стране требовался мощный коммутационный узел.
В эпоху аналоговой и ранней цифровой телефонии логика была понятной. Междугородные линии приходили на крупные станции, где происходила коммутация каналов. Поэтому М9 уже изначально обладала тем, что позже оказалось крайне полезно интернет-провайдерам, большим количеством линий связи, техническими помещениями, электропитанием и присутствием разных операторов.
Когда в России начал развиваться коммерческий интернет, провайдеры столкнулись с довольно странной проблемой. Две московские сети могли находиться в соседних зданиях, но обмениваться данными через дорогой внешний канал. Пакет уходил далеко за пределы локальной инфраструктуры, затем возвращался обратно. Провайдер платил за транзит, пользователь получал лишнюю задержку.
Выход очевиден, если поставить оборудование разных сетей рядом и позволить им обмениваться трафиком напрямую.
Провайдер A
|
|
ММТС-9
|
точка обмена
|
|
Провайдер B
Именно поэтому М9 оказалась почти идеальным местом. На площадке уже сходились линии связи, а несколько провайдеров уже разместили там оборудование.
В 1995 году представители семи сетей договорились создать первую российскую точку взаимного обмена IP-трафиком. В ноябре на М9 заработал первый узел Московского Internet Exchange. Первоначально проект называли M9-IX, позднее закрепилось название MSK-IX. Историю запуска подтверждает сам MSK-IX.
Так старое телефонное здание неожиданно оказалось в центре новой цифровой инфраструктуры. Телефонные разговоры постепенно уступали место IP-трафику, а значение площадки не исчезло. Напротив, возник сетевой эффект. Чем больше операторов размещало оборудование на Бутлерова, тем выгоднее было приходить туда другим операторам.
Что именно находится на М9 и как там ходит интернет
Фраза «М9 является точкой обмена трафиком» немного упрощает картину. Я бы разделял четыре разных понятия, которые часто смешивают.
- ММТС-9 представляет собой исторический телекоммуникационный объект и технологическую площадку на Бутлерова, 7.
- Дата-центр М9 предоставляет помещения, стойки, питание, охлаждение и физическую инфраструктуру для оборудования клиентов.
- MSK-IX представляет собой распределенную сеть обмена трафиком, которая работает далеко не только внутри М9.
- M9.PLUS представляет отдельный дата-центр MSK-IX внутри здания ММТС-9.
Такое разделение многое объясняет. Авария в здании ММТС-9 не означает автоматического отключения всей сети MSK-IX. И наоборот, проблема определенного сервиса MSK-IX не обязательно означает аварию всего объекта М9.
Внутри телеком-площадки все выглядит гораздо прозаичнее, чем можно представить по словам «сердце российского интернета». Стойки, маршрутизаторы, коммутаторы, оптические кроссы, километры кабелей, системы электропитания, ИБП, охлаждение и инженерная автоматика.
Предположим, оператор A и оператор B разместили маршрутизаторы на одной площадке. Между стойками можно организовать физическое соединение, которое специалисты называют cross-connect. После подключения к точке обмена обе сети начинают передавать друг другу маршруты.
Здесь появляется BGP, Border Gateway Protocol. Интернет состоит не из одной гигантской сети, а из десятков тысяч автономных систем, Autonomous Systems. Каждая принадлежит оператору, облаку, крупной компании или другой организации и имеет собственный номер ASN.
Через BGP сети сообщают соседям примерно следующее.
«Адреса из этой IP-сети доступны через меня» «До другой сети лучше идти через этого соседа» «Этот маршрут больше не работает»
Точка обмена позволяет множеству участников делать такую работу через общую инфраструктуру. Вместо отдельных физических соединений между каждой парой операторов компании подключаются к общей коммутационной сети IX. Для упрощения пиринга могут использоваться route servers, которые получают маршруты участников и распространяют их другим участникам согласно установленным правилам.
Преимущества вполне практические. Путь пакета становится короче, задержка обычно снижается, дорогого транзитного трафика требуется меньше, а операторы получают дополнительные варианты маршрутизации.
Получается примерно такая схема.
Пользователь
|
Провайдер
|
маршрутизатор оператора
|
+---- прямой пиринг ---- сеть B
|
+---- MSK-IX ----------- сеть C
|
+---- IP-транзит ------- остальной интернет
Оператор редко полагается только на один вариант. Нормальная крупная сеть использует несколько маршрутов, операторов и площадок. BGP как раз позволяет перестраивать путь, если один канал исчезает.
Почему авария на М9 все равно может быть очень заметной
Здесь возникает главный миф. Иногда ММТС-9 описывают как «рубильник российского интернета». Мол, достаточно обесточить одно здание и Рунет исчезнет. Такое представление сильно устарело.
Современный российский интернет распределен. Даже MSK-IX давно не ограничивается Бутлерова, 7. В одной Москве работает множество узлов на площадках DataPro, DataSpace, IXcellerate, Linxdatacenter, в Курчатовском институте, ММТС-10 и других дата-центрах. Узлы присутствуют также в Санкт-Петербурге, Екатеринбурге, Новосибирске, Казани, Самаре, Владивостоке и других городах.
Сам MSK-IX сообщает, что его сервисами пользуются более 800 организаций из 100 городов и 20 стран. Но цифра относится ко всей распределенной инфраструктуре MSK-IX, а не только к ММТС-9.
Зачем тогда столько шума вокруг одного здания?
Причина в концентрации инфраструктуры. М9 десятилетиями остается удобной точкой встречи сетей. Еще при запуске дата-центра M9.PLUS в 2017 году MSK-IX называл Бутлерова, 7 самой востребованной российской локацией для межоператорского взаимодействия и сообщал о присутствии более 440 операторов.
Получается классический инфраструктурный парадокс. Интернет проектировался как распределенная сеть, но экономически операторам выгодно собираться в нескольких очень удобных местах. Чем больше сетей находится на площадке, тем привлекательнее площадка для новых участников. Возникают мощные центры концентрации.
Поэтому серьезный сбой М9 может одновременно затронуть множество компаний, хотя каждая компания формально независима.
Если пропадает конкретный линк, BGP обычно найдет другой маршрут. Но резервный путь может оказаться длиннее, дороже или уже. Пользователь увидит рост задержки или снижение скорости. Если компания держала на М9 не просто пиринговый порт, а единственный маршрутизатор, сервер или критический канал, последствия будут гораздо серьезнее.
Еще интереснее ситуация с электричеством. Современный дата-центр имеет ИБП, резервные вводы и генераторы, но слово «резервирование» не означает абсолютную неуязвимость. Общая инженерная зависимость, неправильная схема переключения, отказ автоматики, проблемы распределительных устройств или сочетание нескольких неисправностей способны вывести из строя сразу несколько резервных элементов.
В 2022 году «Ростелеком» называл М9 одной из крупнейших телеком-нейтральных площадок Москвы. Тогда оператор сообщал о 2459 стойках в машинных залах общей площадью более 10 тысяч квадратных метров. Масштаб хорошо показывает, почему локальная инженерная авария здесь способна превратиться в заметное интернет-событие.
Что ММТС-9 показывает нам про устройство интернета
Мне М9 интересна прежде всего как наглядный пример того, насколько реальный интернет отличается от рисунка с облачком в учебнике. Пользователь видит Wi-Fi и браузер. За ними стоят вполне материальные здания, подстанции, трансформаторы, дизель-генераторы, оптические кабели, стойки и маршрутизаторы.
Даже облака живут на земле.
ММТС-9 также хорошо показывает разницу между логической и физической отказоустойчивостью. В BGP можно построить десяток резервных маршрутов, но резервирование мало поможет, если несколько маршрутов физически проходят через одну кабельную канализацию или оборудование зависит от общей системы электроснабжения.
Поэтому грамотный сетевой архитектор смотрит не только на количество каналов. Нужно проверять физическую трассу волокна, разные вводы в здание, независимость операторов, размещение оборудования в нескольких дата-центрах и реальные сценарии переключения при аварии.
Фраза «у нас два провайдера» сама по себе ничего не гарантирует. Два провайдера могут арендовать волокна в одном кабеле, использовать одну площадку обмена и зависеть от одного энергетического узла. На бумаге резерв есть, физически резервирования почти нет.
По той же причине нельзя считать любую проблему на М9 «падением Рунета». Если перестала отвечать группа сайтов, сначала нужно понять, что именно произошло. Пропало питание площадки, отказал отдельный оператор, исчез BGP-маршрут, перестал работать DNS, перегрузился резервный канал или возникла проблема у конкретного дата-центра. Для пользователя симптомы могут выглядеть одинаково, а причины принципиально различаются.
ММТС-9 давно перестала быть просто телефонной станцией. М9 представляет собой исторический телеком-узел, крупную площадку размещения оборудования и одно из мест, где физически пересекается множество российских сетей. Именно здесь в 1995 году заработала первая отечественная точка обмена IP-трафиком, из которой вырос современный MSK-IX.
Но называть здание единственным «сердцем Рунета» я бы не стал. Интернет за прошедшие десятилетия стал намного распределеннее. Точнее другое сравнение. М9 является одним из крупнейших транспортных узлов большого города. Закрытие одного вокзала не остановит весь транспорт, но если через него проходит огромное количество маршрутов, последствия заметит половина города.
Что означает ММТС-9?
ММТС-9 означает «Московская междугородная телефонная станция № 9». Площадка находится в Москве на улице Бутлерова, 7.
ММТС-9 и М9 одно и то же?
В разговорной речи практически да. М9 называют площадку ММТС-9 на Бутлерова, 7. Но внутри комплекса работают разные дата-центры, операторы и сетевые сервисы.
ММТС-9 и MSK-IX одно и то же?
Нет. ММТС-9 представляет физическую телекоммуникационную площадку. MSK-IX представляет распределенную инфраструктуру обмена интернет-трафиком. Один из узлов MSK-IX расположен на ММТС-9.
Правда ли, что весь российский интернет проходит через ММТС-9?
Нет. Российские сети соединены через множество точек обмена, операторов и дата-центров. М9 остается очень крупным центром концентрации сетевой инфраструктуры, поэтому серьезные проблемы на площадке могут быть заметны далеко за ее пределами.
Что произойдет, если ММТС-9 отключится?
Часть сетей потеряет расположенные на площадке соединения и оборудование. При правильно построенном резервировании BGP перенаправит трафик через другие маршруты. У некоторых сервисов вырастут задержки или снизится скорость, а системы без независимого резерва могут стать полностью недоступными.
Зачем провайдерам нужна точка обмена трафиком?
Точка обмена позволяет независимым сетям передавать трафик напрямую. Провайдеры сокращают путь пакетов, уменьшают задержки и могут снизить расходы на покупку IP-транзита у других операторов.
Почему резервный интернет тоже может перестать работать при одной аварии?
Логически независимые каналы иногда имеют общую физическую инфраструктуру. Кабели двух операторов могут проходить по одной трассе, оборудование может находиться в одном здании, а разные системы могут зависеть от общего электроснабжения. Настоящее резервирование требует физического разделения таких зависимостей.
