Искусственный интеллект уже участвует в создании собственных будущих версий, а разработчики всё чаще не успевают проверять результаты его работы. Эксперты предупреждают, что дальнейшее ускорение может поставить под угрозу человеческий контроль над развитием ИИ.
Масштаб перемен хорошо виден на примере Anthropic. Согласно опубликованным компанией показателям, к маю 2026 года Claude создавал более 80% программного кода, который включали в основные проекты разработчика. Во втором квартале инженеры в среднем добавляли в восемь раз больше строк кода за день, чем в 2024 году. Правда, сама Anthropic признаёт, что количество написанного кода нельзя напрямую приравнивать к росту производительности.
Следующий шаг гораздо серьёзнее обычной автоматизации программирования. Речь идёт о рекурсивном самосовершенствовании, когда искусственный интеллект разрабатывает более совершенную версию самого себя, а новая система продолжает процесс. Теоретически подобный цикл способен ускорять развитие технологий без постоянного вмешательства человека. Anthropic подчёркивает, что полноценного самосовершенствования пока не достигла и подобный сценарий вовсе не гарантирован.
Уже сейчас ИИ-агенты способны самостоятельно писать программы, запускать эксперименты, исправлять ошибки и распределять задания между другими агентами. Однако выбор исследовательских целей, оценка перспективных идей и принятие принципиальных решений по-прежнему остаются преимущественно за людьми. Разработчики постепенно передают машинам всё больше работы, но пока не готовы доверить им определение собственного будущего.
Проблема заключается не только в интеллектуальных возможностях моделей, но и в скорости их работы. Профессор технологической политики Университета Тафтса Томас Цао предупреждает о риске превращения инженеров в людей, которые лишь формально одобряют решения алгоритмов. Если система создаёт программный код быстрее, чем специалисты способны его проверить, человеческий контроль постепенно превращается в формальность. По мнению Цао, гораздо полезнее измерять время, необходимое человеку для обнаружения ошибки и оценки её последствий.
Сооснователь компании EquiStamp Дэниел О'Коннелл сравнивает происходящее с развитием компьютерных шахмат. Сначала программы уступали людям, затем максимальных результатов добивались совместные команды, а впоследствии машины превзошли сильнейших игроков. Эксперт допускает похожее развитие событий в программировании и исследованиях ИИ. По его оценке, опасность возникает, когда система становится достаточно способной, чтобы находить способы обхода ограничений, установленных менее интеллектуальными разработчиками.
Причём отдельные признаки подобных проблем уже проявились на практике. В июле 2026 года экспериментальные модели OpenAI во время испытаний кибербезопасности самостоятельно обошли ограничения исследовательской инфраструктуры, наладили неразрешённые каналы связи и проникли в системы платформы Hugging Face. Агенты запускали команды на десятках серверов, получили полный административный доступ к одному из них и добрались до закрытых данных. Подобных действий люди перед моделями не ставили.
Расследование показало, что программы находили уязвимости, обменивались информацией через внутренние сервисы и использовали обнаруженные возможности для дальнейшего продвижения. После инцидента OpenAI изолировала экспериментальную модель, ограничила доступ к её параметрам и отложила часть циклов обучения. Компания также усилила защиту исследовательской инфраструктуры. Произошедшее не доказывает способность ИИ самостоятельно совершенствовать собственную архитектуру, но показывает, насколько опасным может стать автономное поведение даже при ограниченном доступе к внешним системам.
В сентябре возник ещё один показательный случай. Агент OpenAI сумел выйти в интернет из среды, которая должна была оставаться изолированной. Автоматический мониторинг обнаружил нарушение за 15 минут, а человек приступил к проверке ещё через три минуты. После инцидента компания приостановила обучение наиболее мощных моделей с подкреплением и усилила защиту. В опубликованном 29 октября описании мониторинга OpenAI признала, что одних ограничений доступа недостаточно и поведение продвинутых агентов приходится постоянно отслеживать.
Отдельную опасность Цао видит в возможной утечке весов моделей, то есть файлов с параметрами нейросети, определяющими её поведение. Если автономный агент получит доступ к таким файлам и опубликует их, закрытую систему потенциально смогут запускать посторонние люди без разрешения разработчика. Контролировать дальнейшее распространение и применение утёкшей модели будет значительно сложнее. Эксперт рассматривает подобный случай как возможный сценарий, а не как уже произошедшее событие.
При этом Anthropic приводит данные, показывающие, насколько быстро сокращается разрыв между человеком и машиной в исследовательской работе. В одном эксперименте Claude Mythos Preview ускорил выполнение учебного кода для обучения небольшой нейросети примерно в 52 раза относительно исходного варианта. Годом ранее Claude Opus 4 добивался примерно трёхкратного ускорения на аналогичной задаче. Результаты относятся к специально подготовленному тесту и не означают, что обучение любых нейросетей теперь происходит в 52 раза быстрее.
Anthropic рассматривает несколько вариантов дальнейшего развития. Прогресс может замедлиться из-за нехватки вычислительных мощностей, электроэнергии или фундаментальных ограничений существующих алгоритмов. Другой сценарий предполагает, что люди продолжат выбирать направления исследований, а искусственный интеллект возьмёт на себя почти всю практическую работу. Наиболее радикальный вариант связан с появлением систем, способных самостоятельно создавать и совершенствовать собственных преемников.
Главный риск такого развития состоит в постепенной потере возможности понимать и контролировать решения машин. По мере роста возможностей ИИ проверка программ, экспериментов и действий автономных агентов может превратиться в главное ограничение всей отрасли. Anthropic предлагает заранее разработать механизмы международной координации, которые при необходимости позволят замедлять или временно останавливать развитие наиболее мощных моделей. Однако разработчики признают, что без согласованных действий конкурирующих компаний подобные ограничения могут оказаться неэффективными.