«Яндекс» пока не может подтвердить, удастся ли восстановить оборудование дата-центра в Сасово Рязанской области после атаки беспилотников 8 октября. Пожар полностью остановил работу площадки с десятками тысяч серверов, а последствия затронули сторонние интернет-сервисы.
Компания продолжает оценивать ущерб инфраструктуре и не называет сроки возобновления работы. Пока неизвестно, какая часть серверного оборудования повреждена и потребуется ли его полная замена. На площадке работают профильные службы и технические специалисты. Пострадавших, по информации «Яндекса», нет. Основные пользовательские сервисы компании продолжают работать.
Масштаб происшествия выходит далеко за пределы одного серверного комплекса. Дата-центр в Сасово входит в число пяти крупных вычислительных площадок «Яндекса» и рассчитан на размещение десятков тысяч серверов. Через инфраструктуру компании работают не только собственные продукты, но и многочисленные сторонние сайты, приложения и корпоративные системы, использующие облачную платформу Yandex Cloud.
Первые признаки аварии появились в 1:31 мск, когда в зоне доступности ru-central1-b начались перебои с электропитанием. Уже в 1:44 служба Yandex Cloud Alerts предупредила клиентов о проблеме. Позднее компания подтвердила, что причиной стал пожар после атаки БПЛА. По состоянию на 15:19 мск зона оставалась недоступной, а работа дата-центра была полностью остановлена.
Специалисты Yandex Cloud переключили доступную нагрузку на другие площадки. Компания сообщила, что сервисы в остальных зонах продолжают работать штатно, однако создание новых виртуальных машин, кластеров Kubernetes и баз данных может сопровождаться ограничениями. Клиентам рекомендовали по возможности переносить вычислительные ресурсы из пострадавшей зоны. Сроки её восстановления пока не определены.
Последствия быстро почувствовали пользователи сторонних сервисов. «Циан» сообщил о проблемах с сайтом и мобильным приложением, объяснив сбой инцидентом у инфраструктурного партнёра, название которого компания не раскрыла. Перебои также затронули сайты застройщиков А101, «Гранель» и «Брусника». О проблемах с электронным документооборотом предупредила группа компаний «Астрал».
В Московской области временно прекратилась онлайн-продажа билетов на автобусы «Мострансавто». Региональный Минтранс связал сбой с остановкой дата-центра, обеспечивающего работу билетной системы. На восстановление сервиса, по первоначальной оценке ведомства, может потребоваться до 24 часов. При этом пассажиры по-прежнему могут оплачивать проезд непосредственно в автобусах через терминалы и валидаторы.
Утром пользователи столкнулись и с неполадками «Яндекс Почты». По информации сервиса Detector404, около 10:50 мск число жалоб приблизилось к 1,2 тыс. Позднее представители «Яндекс 360» подтвердили временные сложности и сообщили об их устранении. РЖД также предупредили о возможной замедленной загрузке сайта из-за работы внешних сервисов, подчеркнув, что приложение «РЖД Пассажирам» и билетные кассы функционируют штатно.
Около 15:30 в России начался ещё один масштабный сбой, затронувший сайты СМИ, банков, онлайн-кинотеатров и других популярных площадок. Проблемы возникли у РБК, «Ведомостей», «Коммерсанта», «Интерфакса» и ряда других ресурсов. Одновременно поступили сообщения о возможных неполадках в инфраструктуре Curator, которая защищает сайты от DDoS-атак. Прямой связи между отказом этой системы и пожаром в Сасово не установлено.
Отдельные опасения вызывает судьба вычислительной инфраструктуры для искусственного интеллекта. Согласно официальной информации «Яндекса» за 2021 год, в Сасово размещались два из трёх суперкомпьютеров компании, «Червоненкис» и «Ляпунов». Системы построены на процессорах AMD EPYC и графических ускорителях NVIDIA A100, предназначенных для высокопроизводительных вычислений и обучения нейросетей.
На момент публикации рейтинга Top500 в ноябре 2021 года «Червоненкис» занимал 19-е место в мире с производительностью 21,53 петафлопса, а «Ляпунов» находился на 40-й позиции с показателем 12,81 петафлопса. В первом суперкомпьютере использовались 1592 ускорителя NVIDIA A100. «Яндекс» применял подобные системы для развития технологий машинного обучения. Компания пока не раскрыла, находились ли суперкомпьютеры на пострадавших участках площадки и получили ли повреждения.
Ночная атака затронула и расположенные рядом объекты. Губернатор Рязанской области Павел Малков сообщил об уничтожении двух беспилотников над регионом. В Сасовском округе загорелась кровля одного из предприятий, а в нескольких частных домах выбило стёкла. Следственный комитет России возбудил уголовное дело по статье 205 УК РФ о террористическом акте в связи с ударом по дата-центру.
Происшествие отразилось на котировках «Яндекса». Утром 8 октября акции компании на Московской бирже теряли более 3% стоимости. К 11:05 мск бумаги торговались по 3603 рубля, снижение составляло 2,45%. Окончательный размер финансового ущерба пока неизвестен. Компания не представила оценку стоимости повреждённого оборудования и расходов на восстановительные работы.
Дата-центр в Сасово начал работать в 2014 году. Для размещения серверного оборудования «Яндекс» использовал часть бывших производственных помещений завода «Саста», а для подключения площадки к общей инфраструктуре проложил несколько волоконно-оптических линий связи с Москвой. Со временем объект стал одной из крупных вычислительных площадок компании, обслуживающих облачные сервисы и задачи машинного обучения.
Авария вновь поставила вопрос об устойчивости облачной инфраструктуры к физическому уничтожению оборудования. Архитектура Yandex Cloud предусматривает размещение ресурсов в нескольких независимых зонах доступности, однако защита приложения от остановки одной площадки зависит от того, как клиент распределил свои системы и данные. Если необходимые серверы и хранилища сосредоточены в одной зоне, её потеря способна остановить весь сервис.
В отличие от обычного программного сбоя, последствия пожара могут потребовать не только перезапуска виртуальных машин, но и физической замены серверов, систем хранения, сетевого оборудования и элементов электроснабжения. Даже при сохранности данных восстановление вычислительных мощностей может оказаться значительно сложнее. Пока «Яндекс» не завершил обследование площадки, определить реальный масштаб потерь и сроки возвращения дата-центра к работе невозможно.
