Четыре ИИ-агента Gemini 4 Argon самостоятельно прошли Minecraft до главной цели выживания и победили Дракона Края. В случайно созданном мире на лёгкой сложности команда добралась до финала за 27 часов 14 минут, написала 2783 программы и успела погибнуть 605 раз. Люди не подсказывали агентам, куда идти, что строить и как делить работу.
Перед стартом агенты получили одну задачу: победить Дракона Края. Исследователи не назначали роли, не составляли маршрут и не писали игровую логику. Уже через десять минут участники сами начали делить обязанности: один занялся инструментами, другой припасами, третий подготовил портал в Нижний мир, а четвёртый отправился за ресурсами. Весь эксперимент исследователи записывали, но вмешиваться им не пришлось.
При этом Gemini не играл глазами и руками, как человек. Агенты не видели изображение с экрана и не нажимали клавиши. Вместо этого каждый писал короткие программы на JavaScript, а библиотека Mineflayer превращала команды в действия персонажа: идти, копать, строить, создавать предметы или атаковать. После выполнения программа возвращала координаты, здоровье, содержимое инвентаря, сведения об окружении или сообщение об ошибке, и агент решал, что делать дальше.
Самый наглядный пример самостоятельного планирования появился при поиске подземной крепости с порталом в Край. Один агент дважды бросил Око Края из разных точек, каждые 50 миллисекунд записывал направление полёта и вычислил место пересечения двух траекторий. Расчёт промахнулся всего на 43 м от настоящей комнаты с порталом, хотя крепость находилась примерно в 1,3 км от базы.
По пути команда постоянно вытаскивала себя из неприятностей. Один агент утонул, потеряв все 12 Окей Края, необходимых для открытия портала. Товарищи сразу передали точные координаты выпавших предметов и время, когда добыча должна исчезнуть. Другой участник успел подобрать весь комплект примерно за две с половиной минуты до дедлайна. После других смертей агенты так же возвращали вещи, делились координатами и записывали найденные решения в общую память.
Больше всего времени отнял сам Дракон Края. Финальная часть растянулась почти на 14 часов, а босс убил агентов 69 раз. Примерно через 21 час команда поняла, почему атаки почти не дают результата: десять кристаллов на обсидиановых башнях постоянно восстанавливали здоровье дракона. Агенты придумали подниматься к ним на столбах из земли, уничтожили все десять кристаллов, а ещё через 39 минут добили босса.
Авторы называют работу первым известным им полностью автономным прохождением Minecraft командой ИИ-агентов с обычной Mineflayer, случайным миром и без специальных игровых инструментов, заранее написанных людьми. Однако результат нельзя напрямую сравнивать с игрой человека. Mineflayer сообщала агентам точное положение блоков и существ, включая сведения за стенами и внутреннее состояние дракона, а встроенный модуль сам прокладывал маршрут вокруг препятствий.
Кроме того, Gemini уже знал Minecraft по обучающим данным, игра шла на лёгкой сложности, а исследователи проверили только один запуск. Почти 22% написанных программ завершились ошибкой. Поэтому главный результат эксперимента не в игровом мастерстве, а в другом: четыре агента больше суток удерживали общую цель, самостоятельно распределяли задачи, писали и исправляли код, запоминали ошибки и продолжали работу после сотен неудач.
