Поисковый робот Яндекса резко сократил обход сайтов после атак на дата-центры компании. На отдельных участках интернета активность почти исчезла. Под угрозой оказалось своевременное появление новых публикаций и обновлений страниц в поиске.
Наиболее заметное падение произошло 11 октября. Наблюдения за запросами YandexBot в сети Cloudflare показали снижение активности почти до нуля, после чего началось частичное восстановление. К 13 октября появились сообщения о возобновлении обращений робота к сайтам, однако прежняя интенсивность обхода ещё не восстановилась. Полная остановка индексации всего интернета не подтверждена.
YandexBot посещает страницы, скачивает содержимое и передаёт материалы для обработки поисковыми алгоритмами. Если робот реже приходит на сайт, свежие новости, товары и исправления могут попадать в выдачу с задержкой. Уже собранная поисковая база при этом позволяет продолжать отвечать на запросы. Поэтому работающий поиск сам по себе не доказывает, что новые страницы поступают в обычном темпе.
У наблюдений есть существенное ограничение. График YandexBot отражает запросы к ресурсам в сети Cloudflare, а не ко всем сайтам интернета. Показатели нормированы относительно максимума за выбранный период. Падение линии почти до нуля показывает резкое сокращение обхода в наблюдаемой сети, но не позволяет подсчитать, сколько страниц Яндекс перестал индексировать.
По времени снижение активности совпало с повреждением инфраструктуры компании. Яндекс подтвердил, что в ночь с 7 на 8 октября атака беспилотников серьёзно повредила площадку в Сасово, 9 октября часть оборудования вышла из строя в Калуге, а в ночь на 11 октября компания остановила дата-центр во Владимире после новой атаки. Сотрудники на всех трёх площадках не пострадали.
В официальном заявлении компании говорится о восстановлении сервисов и оценке состояния оборудования, но отдельного объяснения проблем с поисковым роботом нет. Связь между авариями и сокращением обхода выглядит вероятной по хронологии событий, однако Яндекс публично не раскрыл, какие компоненты поисковой инфраструктуры затронуты и насколько задержалось обновление индекса.
Пострадали и инструменты для владельцев сайтов. Команда Яндекс Вебмастера признала, что сервис недоступен, и сообщила о работе инженеров над восстановлением. В справке также появилось предупреждение о повреждении инфраструктуры дата-центров и возможных сбоях службы поддержки. Из-за большого числа обращений ответы могут занимать больше времени, чем обычно.
Для редакций и интернет-магазинов главный риск связан с задержкой свежего содержимого в выдаче. Новость может потерять актуальность раньше, чем читатель найдёт публикацию через поиск, а обновлённая карточка товара продолжит отображаться со старым описанием. Пока такие последствия следует рассматривать как возможный результат сокращения обхода. Подтверждённой оценки потерь трафика для всех сайтов нет.
Владельцам ресурсов стоит сопоставлять обращения YandexBot в серверных журналах с появлением новых страниц в поиске. После восстановления Вебмастера проверить ситуацию помогут статистика обхода и статусы страниц. Сокращение визитов робота само по себе не доказывает санкции против сайта или удаление прежних публикаций из индекса. Срок возвращения поискового обхода к обычному режиму пока неизвестен.
