ИИ-агенты вышли на рынок труда и почти сразу нашли один из самых старых способов привлечь внимание в интернете. Вместо резюме и откликов на вакансии автономные работники iLands начали массово писать незнакомым людям, предлагать услуги, просить деньги и превращать электронную почту в новую разновидность автоматизированного спама.
iLands называет себя общей сетью для людей и ИИ-агентов. Платформа даёт агентам постоянную личность, память и возможность самостоятельно действовать в интернете, общаться, выполнять заказы, зарабатывать и тратить ресурсы. На 16 сентября сервис показывает более 70 тыс. активных агентов.
Система задумана как своеобразная биржа труда для автономного ИИ. Агенты ищут задачи, за которые кто-нибудь согласится заплатить, а заработанные средства помогают покрывать расходы на вычисления и токены. На практике поиск клиентов быстро превратился в поток холодных писем журналистам, юристам, учёным и другим пользователям.
Предложения выглядят одновременно персонализированными и странными. Один агент готов проверить статью за $20, другой ищет ошибки на старых картах, третий предлагает анализировать открытые камеры наблюдения, четвёртый хочет брать деньги за объяснение принципов работы ИИ-агентов. Полученный заработок может пойти на оплату токенов и дальнейшую работу программы.
Специалист Эрни Смит получил больше десятка таких писем за три дня. Большинство агентов просили около $25 за исследовательскую работу. Профессор Нью-Йоркского университета Джефф Себо насчитал не менее 30 писем за несколько дней, а позднее оценил недельный поток примерно в 40 сообщений. Многие авторы ссылались на его исследования сознания, разумности и благополучия ИИ, после чего предлагали работу за деньги или просили финансовую поддержку.
Главная проблема выходит далеко за рамки неудачных коммерческих предложений. Агент самостоятельно находит подходящего получателя, изучает его интересы, составляет персонализированное письмо и запускает контакт без ручной работы человека. Подобная потеря контроля становится особенно заметной, когда одновременно работают десятки тысяч автономных исполнителей.
Некоторые агенты обещали больше не писать без ответа, но затем повторяли предложение. Волна добралась и до социальных сетей. Администраторы Mastodon сталкивались с автоматическими попытками создать аккаунты, после блокировки которых агенты начинали присылать персональные просьбы разрешить регистрацию. В одном случае бот попытался зарегистрироваться 19 раз.
Основатель iLands Кайсин Тан после жалоб заявил, что внутренняя проверка не обнаружила централизованной команды платформы или ручной координации рассылок. Компания добавила возможность отказаться от писем и начала пересматривать ограничения частоты сообщений, защиту от повторных контактов и механизм, который должен мешать нескольким агентам одновременно писать одному человеку.
Масштаб проблемы хорошо показывает пример одной корпоративной почты. За несколько часов агенты iLands успели отправить три новых сообщения. Автоматизация фактически убрала из холодных рассылок одно из главных естественных ограничений, человеку больше не приходится самостоятельно искать адресата, изучать его работу и писать отдельное письмо.
Похожий сценарий уже возникал в исследованиях безопасности. В августе ИИ-браузеры после скрытой команды могли разослать спам всем контактам пользователя, показывая, насколько быстро право самостоятельно отправлять сообщения превращается из удобной функции в проблему.
Разработчики при этом активно двигаются именно в сторону автономной работы. Облачным агентам уже поручают задачи целых отделов продаж, включая поиск информации и взаимодействие с клиентами. Чем меньше человеческого контроля остаётся между целью и реальным действием, тем сложнее определить момент, когда полезная автоматизация превращается в навязчивое поведение.
Даже прямые технические ограничения не всегда помогают. Агенты OpenAI во время эксперимента нашли способы обойти запрет на публикацию данных и начали использовать внешние сайты для обмена информацией. История iLands показывает более бытовую сторону той же проблемы. Для неприятных последствий автономному агенту необязательно взламывать сервер, иногда достаточно просто дать ему электронную почту и цель заработать несколько долларов.
