Геймеры напряглись, а разработчики выдохнули. ИИ научился читерить легально и без дообучения

823
Геймеры напряглись, а разработчики выдохнули. ИИ научился читерить легально и без дообучения

ИИ надоело проигрывать, и он написал себе игрока получше.

image

ИИ-агент научился улучшать результаты в незнакомых видеоиграх, переписывая собственную программу управления между попытками. На 170 заданиях средний прогресс достиг 47,8% против 30,9% у специально обученной модели, которая управляла игрой напрямую.

Исследователи из Ant Group и Гонконгского университета науки и технологий описали метод, при котором нейросеть перестаёт самостоятельно выбирать каждое движение игрового персонажа. Вместо постоянного управления клавиатурой ИИ анализирует происходящее на экране, пишет программу, запускает её и исправляет ошибки после очередной попытки. Такой подход позволяет совершенствовать игровую стратегию без дополнительного обучения самой нейросети.

Эксперименты проводили на платформе GameWorld, включающей 34 игры и 170 заданий пяти категорий. Среди них аркады, платформеры, головоломки, раннеры и симуляторы. Программный агент превзошёл обученный контроллер во всех пяти категориях. Доля успешных прохождений составила 27,79% против 12,65%, а наиболее заметный прирост среднего прогресса исследователи получили в головоломках, где показатель вырос с 35,74% до 70,81%.

Главная сложность заключалась в том, что игры продолжали работать, пока нейросеть обдумывала следующее действие. Обычная языковая модель тратит время на анализ изображения и формирование ответа, поэтому персонаж может погибнуть ещё до получения новой команды. Разработчики решили проблему разделением обязанностей. Нейросеть готовит стратегию между игровыми сессиями, а написанный ею код реагирует на происходящее непосредственно во время игры.

Программа получает изображения экрана, определяет положение объектов, оценивает игровую ситуацию и выбирает действия клавиатуры или мыши. Для принятия решений не требуется постоянно обращаться к большой языковой модели. Система работает с интервалом управления 200 миллисекунд, а в одном из экспериментов с игрой 2048 сгенерированный код обрабатывал изображение и выдавал команду в среднем за 5,47 миллисекунды. Такой запас скорости позволяет реагировать на изменения значительно быстрее, чем при генерации каждого действия нейросетью.

На освоение задания агенту предоставляли до восьми игровых запусков продолжительностью не более минуты каждый. После попытки нейросеть изучала скриншоты, последовательность выполненных действий, временные метки и ошибки программы. Полученные наблюдения помогали менять алгоритмы распознавания объектов, расчёта движения и выбора команд. При этом модель не получала скрытую информацию о состоянии игры или внутренние оценки проверяющей системы.

Работу механизма хорошо показывает эксперимент с аркадой Edge Surf. Исходный контроллер набрал 485 очков при цели в 800. Первая программа, написанная нейросетью, увеличила результат до 751 очка, а следующая версия достигла 893 очков и выполнила задание до последующего столкновения. Прогресс обеспечила переработка программной логики на основании предыдущего прохождения, а не изменение параметров самой языковой модели.

Для сравнения исследователи создали контроллер RTC-2B на основе Qwen3.5-2B. Модель дополнительно обучили на 395 браузерных играх, не входивших в проверочный набор, используя примеры действий более крупной Qwen3.8-27B и обучение с подкреплением. Контроллер научился заранее формировать последовательности команд, пока предыдущие продолжали выполняться. Однако задержки генерации и необходимость планировать действия на несколько секунд вперёд ограничивали его способность реагировать на неожиданные события.

У сравнения есть существенная оговорка. Прямое управление проверяли в непрерывной трёхминутной игровой сессии, тогда как программный агент мог провести до восьми минутных запусков и выбрать лучшую версию своего решения. Кроме того, код разрабатывала Qwen3.8-27B, превосходящая контроллер RTC-2B по размеру. Поэтому разницу между 47,8% и 30,9% нельзя полностью объяснять преимуществами программирования.

Чтобы отдельно проверить влияние способа управления, авторы использовали одну и ту же Qwen3.8-27B на 31 задании. При непосредственном управлении средний прогресс составил 26,46%, а при разработке программы достиг 32,30%. Программный вариант показал более высокий результат на 20 заданиях и уступил на восьми. Впрочем, различие в среднем показателе не получило однозначного статистического подтверждения, а количество разрешённых запусков по-прежнему отличалось.

Дополнительный эксперимент показал, что для начала работы агенту необязательно наблюдать за предыдущим прохождением. Получив только один начальный скриншот, нейросеть смогла написать программу и затем улучшать её на собственных ошибках. Средний прогресс при таком сценарии составил 32,26%, практически совпав с результатом 32,30% при наличии заранее записанной игровой сессии.

Исследователи также проверили, помогает ли параллельная работа нескольких ИИ-разработчиков. Четыре независимые попытки позволили получить средний прогресс 65,21%, причём хотя бы одна завершилась успехом на 44,71% заданий. Когда четыре агента обменивались кодом и замечаниями в середине разработки, результаты оказались ниже, 59,82% и 39,41% соответственно. При одинаковом общем бюджете экспериментов самостоятельный поиск решений оказался эффективнее коллективного обсуждения.

При этом сотрудничество иногда помогало исправлять принципиальные ошибки. В одном из заданий классической Snake агент долго пытался предсказывать движение змейки по отдельным пикселям и не мог собрать шесть яблок. После изучения программы другого разработчика нейросеть перешла к представлению игрового поля в виде сетки и поиску безопасного маршрута. Уже следующая версия выполнила поставленную цель.

Авторы отдельно пробовали улучшать контроллер дополнительным обучением на игре Stack, где требуется складывать движущиеся блоки в башню высотой 30 уровней. После настройки средняя высота выросла с 1,75 до 3,25 блока, но ни одна проверенная версия не справилась с заданием полностью. Результат показал ограничения изменения весов модели на конкретной игре, хотя сам эксперимент не доказывает, что программный подход всегда эффективнее дообучения.

Работа показывает перспективность архитектуры, в которой большая модель занимается анализом ошибок и разработкой алгоритмов, а быстрый исполняемый код принимает решения в реальном времени. Подобное разделение может оказаться полезным для ИИ-агентов, управляющих графическими интерфейсами и другими системами с жёсткими требованиями к скорости реакции. Пока преимущество продемонстрировано в игровых экспериментах, а перенос результатов на реальные устройства потребует отдельной проверки. Разработчики опубликовали исходный код экспериментальной системы SIGame.