Интернет по пропускам или интернет для всех? Конфликт Cloudflare и Perplexity как выбор эпохи

На кону — будущее открытого интернета. В один угол ринга вышла Cloudflare, крупнейший поставщик веб-инфраструктуры и фактический привратник для огромной доли мирового трафика. В другом — Perplexity, популярный ИИ-поисковик, который претендует на часть влияния Google. Повод для конфликта — обвинения Cloudflare в том, что Perplexity ведёт себя как «плохой актёр»: игнорирует запреты владельцев сайтов и тайно собирает данные с ресурсов, где ботов просят не ходить.

Основой договорённостей в сети много лет служит файл robots.txt — простая табличка «вход воспрещён» для автоматических сканеров. Добросовестные боты , вроде Google, его уважают. По версии Cloudflare, Perplexity — нет. В жёсткой публикации компания утверждает, что при блокировке заявленного PerplexityBot сервис переключается в «стелс-режим»: маскируется под обычный браузер, меняет IP-адреса и продолжает собирать контент. Чтобы это проверить, Cloudflare развернула новые закрытые сайты с явным запретом для любых роботов и заявляет, что Perplexity всё равно выдавал подробные сведения о размещённых там материалах. После этого Perplexity исключили из списка верифицированных ботов и начали блокировать незаявленных краулеров.

Perplexity ответила не менее резко. Компания утверждает , что Cloudflare «почти во всём ошибается» и пытается приложить старые правила к новой архитектуре. По её версии, Perplexity — не традиционный бот, который системно обходит миллионы страниц и копит индекс, а пользовательский агент, действующий по запросу конкретного человека в реальном времени. Когда пользователь задаёт вопрос, ИИ-ассистент подгружает ровно те материалы, которые нужны для ответа, и не складывает их в долгосрочную базу. «Это принципиально отличается от классического веб-краулинга, где собирают всё подряд, даже если это никому прямо сейчас не нужно», — пишет команда Perplexity и добавляет, что приравнивать такие инструменты к «злонамеренным ботам» — всё равно что подозревать в нечестности почтовые клиенты и браузеры.

Дальше последовало встречное обвинение. По словам Perplexity, Cloudflare «фундаментально неверно атрибутировала» 3–6 млн ежедневных запросов от стороннего облачного браузера, посчитав их трафиком Perplexity. В компании называют это «базовой ошибкой анализа», недопустимой для игрока, чья специализация — распознавать и классифицировать сетевые запросы. В мягкой формулировке выбор здесь между «удачным пиар-моментом» и опасным непониманием принципов работы современных ИИ-сервисов.

Обсуждение в соцсетях разделилось. Одни защищают подход Perplexity: мол, сервис проксирует публичные страницы ради ответа пользователю, и демонизировать это странно, ведь «публичная сеть должна оставаться публичной». Другие иронизируют: «Perplexity делает вид, что это поисковик и что это ИИ, а по сути — ни то и ни другое».

Суть спора шире частного конфликта. ИИ-стартапам нужен доступ к массивам открытых данных, иначе они не смогут конкурировать и давать точные ответы в реальном времени. Владельцы сайтов всё чаще не хотят, чтобы их материалы забирали без согласия и компенсации. Вводя блокировки незаявленных агентов, Cloudflare фактически примеряет роль арбитра того, что считать «легитимным» трафиком. Perplexity предупреждает о риске «двухскоростного интернета» , где доступ к информации зависит не от потребностей пользователя, а от того, получил ли его инструмент благословение инфраструктурных контролёров.

Правила сети переписываются на наших глазах. Старое джентльменское соглашение трещит, и противостояние между привратниками и инноваторами только начинается. От того, как оно закончится, зависит не только траектория ИИ-сервисов, но и то, каким останется сам открытый веб.