Создатели одних из самых мощных ИИ-систем мира вынесли спор о пределах собственной технологии на уровень Совбеза ООН и призвали государства договориться о правилах, которые не позволят передовым моделям выйти из-под человеческого контроля.
Сэм Альтман на заседании 23 сентября предложил создать совместимые национальные и международные стандарты для передового ИИ. По замыслу OpenAI, страны должны одинаково измерять возможности моделей, оценивать риски и проверять, достаточно ли защитных механизмов для сохранения человеческого надзора.
Отдельный блок предложений касается инцидентов. OpenAI хочет единых правил классификации и быстрого раскрытия опасных сбоев, а также защищённых каналов между властями, операторами критической инфраструктуры и техническими специалистами. Компания считает, что такой обмен позволит замечать повторяющиеся проблемы до того, как отдельный сбой перерастёт в масштабный кризис.
Главной причиной тревоги Альтман назвал рост автономности и приближение рекурсивного самоулучшения, при котором ИИ всё активнее помогает создавать следующие поколения ИИ. Руководитель OpenAI считает неприемлемой ситуацию, когда темп развития становится выше способности людей понимать действия системы и вмешиваться. В последние недели разработчики уже пересмотрели отношение к подобным рискам после серии необычных эпизодов с автономными агентами.
Глава Anthropic Дарио Амодеи занял похожую позицию, но сформулировал более конкретные ограничения. Амодеи предложил международно запретить применение ИИ для создания биологического оружия, разработать способы проверки реальных возможностей моделей и установить общие стандарты тестирования на злоупотребления и потерю контроля.
Для Anthropic такой призыв не стал резкой сменой курса. Компания уже предлагала международный механизм, который позволил бы замедлять или временно останавливать разработку наиболее мощных систем, если методы контроля не успевают за ростом возможностей. Ключевая сложность связана с тем, что односторонняя пауза мало что меняет, пока конкуренты продолжают гонку.
При этом OpenAI и Anthropic не предлагают остановить развитие ИИ целиком. Обе компании одновременно подчёркивают экономические и научные преимущества технологии. Альтман также предупредил о другой крайности, когда контроль над самыми мощными моделями концентрируется у одной компании или одного государства, поэтому будущие правила не должны закреплять преимущество нынешних лидеров рынка.
На уровне государств единой позиции пока нет. Представитель Белого дома по науке Майкл Крациос выступил против паузы и новых наднациональных структур управления. США предлагают развивать национальные компетенции, тестирование и обмен лучшими практиками, сохраняя регулирование в руках отдельных стран. Великобритания, напротив, намерена вынести единые глобальные стандарты безопасности ИИ в число тем своего председательства в G20 в 2027 году.
В обсуждении участвовали также руководитель Hugging Face Клеман Деланг и один из пионеров современного машинного обучения Йошуа Бенжио. Разговор в Совбезе показал новый этап спора. Крупнейшие разработчики уже не ограничиваются внутренними правилами безопасности и публично просят правительства определить границы, которые сами компании не хотят устанавливать в одиночку.
Практического международного механизма после заседания не появилось. Предложения OpenAI и Anthropic остаются позициями компаний, а не решениями ООН. Главный нерешённый вопрос теперь касается не только уровня риска от будущих моделей, но и того, кто получит право измерять такой риск, проверять соблюдение ограничений и при необходимости тормозить разработку.
