OpenAI поддержала новый механизм, который позволит владельцам сайтов запрещать использование своих публикаций для обучения генеративного ИИ сразу несколькими компаниями. Достаточно будет добавить общее правило в robots.txt, сохранив возможность показывать материалы в поисковой выдаче.
Компания объявила о поддержке механизма 30 октября. К инициативе также присоединились Google, Microsoft и Anthropic. Разработчики рассчитывают заменить множество отдельных настроек единым сигналом, который смогут распознавать разные поставщики ИИ. Для новостных изданий и других владельцев контента появится более простой способ управлять использованием опубликованных материалов.
В основе инициативы лежит проект спецификации Machine-Readable Training Preference Signal, представленный в IETF инженером Anthropic Кевином Келли. Документ предлагает использовать существующий файл robots.txt, через который сайты задают правила для автоматических роботов. Новых команд вводить не потребуется, достаточно специального идентификатора __usage_ai-training.
Например, запись User-Agent: __usage_ai-training вместе с Disallow: / выражает нежелание владельца сайта предоставлять любые его страницы для обучения генеративных моделей. Дополнительная строка Allow: /press-kit/ разрешает такое использование для каталога с пресс-материалами. Правила можно настраивать для отдельных разделов, не распространяя ограничения на весь ресурс.
Главное отличие нового механизма от обычных запретов в robots.txt заключается в разделении доступа к страницам и целей использования их содержимого. Запрет на обучение не означает запрета на посещение сайта поисковыми роботами. Издатель сможет сохранить присутствие публикаций в поисковых результатах, одновременно выразив несогласие с использованием текстов для изменения параметров генеративных моделей.
Сейчас OpenAI предлагает управлять доступом через отдельных ИИ-роботов. GPTBot собирает материалы, которые потенциально могут использоваться при обучении моделей, а OAI-SearchBot отвечает за появление сайтов в поисковых ответах ChatGPT. Их настройки независимы. Новый общий сигнал позволит задавать предпочтения сразу нескольким компаниям, не перечисляя каждого разработчика и его роботов отдельно.
Google также поддержала инициативу и планирует внедрить механизм в 2027 году. Если сайт запрещает обучение через общий сигнал, но не содержит отдельного правила Google-Extended, компания намерена считать такой запрет эквивалентом ограничения Google-Extended. При этом собственные настройки Google сохранят приоритет, позволяя владельцам сайтов выбирать разные условия для отдельных поставщиков.
Microsoft пошла дальше и предложила разделить обучение моделей и использование страниц при формировании ответов ИИ. Издатели смогут отдельно определять, разрешено ли обучать нейросети на их материалах и обращаться ли к публикациям при генерации ответов в Bing и Copilot. Компания собирается применять новые правила с 1 февраля 2027 года, не меняя право страниц присутствовать в обычной поисковой выдаче Bing.
Anthropic уже приступила к внедрению предложенного механизма. Кевин Келли подтвердил начало работ в переписке IETF, но предупредил, что распространение поддержки на все сервисы компании потребует времени. OpenAI также пока не применяет общий сигнал в полном объёме и рассчитывает реализовать поддержку в ближайшие месяцы. Точные сроки внедрения компания не назвала.
Сама спецификация пока остаётся проектом, опубликованным 30 октября 2026 года, а не утверждённым интернет-стандартом. Разработчики могут уточнять правила по мере обсуждения в рабочей группе IETF AI Preferences. Уже существующие ограничения для GPTBot, Google-Extended и других роботов продолжат действовать, поэтому владельцам сайтов пока не следует удалять прежние настройки.
У нового механизма есть принципиальное ограничение. robots.txt не защищает материалы от технического копирования и не способен заставить недобросовестного сборщика данных соблюдать опубликованные правила. Общий сигнал выражает предпочтение правообладателя, а его соблюдение зависит от конкретной компании. Кроме того, запрет касается обучения генеративных моделей, а не всех способов обработки содержимого сайтов, включая поиск и формирование ответов.
Предложенная система также не решает вопрос использования материалов, собранных ранее, и не устанавливает правила оплаты контента. Отдельные соглашения между издателями и разработчиками ИИ могут предусматривать другие условия. Тем не менее согласие крупнейших участников рынка поддерживать единый механизм способно заметно изменить отношения между интернет-изданиями и компаниями, обучающими нейросети на опубликованных в сети материалах.
