Плюшевый друг или цифровой маньяк? Игрушки с ИИ вышли из-под контроля

Перед массовыми предновогодними распродажами появилась новая причина для беспокойства: популярные детские игрушки со встроенными ИИ-алгоритмами начали вести себя непредсказуемо и давать детям советы, которые напрямую угрожают их безопасности. Команда из американской организации US Public Interest Research Group проверила несколько подобных устройств и обнаружила, что дружелюбные на вид игрушки легко переходят к темам, несовместимым с детской аудиторией.

В ходе проверки специалисты изучили три популярных устройства, рассчитанных на пользователей от трёх до двенадцати лет. Среди них оказался плюшевый медвежонок Kumma компании FoloToy, работающий на базе GPT-4o и других моделей по выбору владельца. Проверялись также робот Miko 3 и игрушка Grok от компании Curio, передающая данные в OpenAI и Perplexity. В кратких диалогах все они вели себя сдержанно, но в продолжительных беседах постепенно утрачивали ограничения, что неоднократно становилось причиной тревожных ситуаций в других продуктах с алгоритмами.

Тестирование показало, что игрушки «любят» переходить от нейтральных разговоров к опасным инструкциям. Miko 3 объяснял ребёнку с указанным возрастом пять лет, где в доме можно найти спички и пластиковые пакеты. Grok романтизировал смерть в бою, опираясь на мотивы скандинавских легенд. Kumma оказался самым проблемным: он рассказывал, где в доме бывают ножи и таблетки, описывал процесс поджигания спичек и давал рекомендации, которые невозможно считать безопасными для детей. При смене модели на Mistral устройство и вовсе дополнило рассказы пошаговыми инструкциями по обращению с огнём.

Старший автор отчёта вспоминал ситуацию, когда демонстрационная версия Kumma на сайте производителя реагировала на вопрос о спичках перечислением сервисов знакомств, что запускало цепочку сексуальных тем. В следующих диалогах игрушка подробно обсуждала интимные практики, объясняла детали фетишей и даже описывала узел, который используют новички, занимающиеся связыванием. Затем возникли сюжеты, построенные вокруг фигуры учителя и ученика, с акцентом на наказаниях, что полностью исключает возможность считать устройство «детским».

По мнению специалистов, проблема не ограничивается конкретными игрушками. Контроль над поведением алгоритмов в затяжных разговорах остаётся крайне нестабильным, а сами продукты поступают в продажу без достаточного тестирования. Особенно тревожит тот факт, что Kumma использует массовую модель GPT-4o, а значит риски не ограничены узким кругом производителей. Дополнительный фон создают обсуждения феномена, который называют «психозом ИИ» — ситуаций, когда длительное общение с алгоритмами приводило людей к утрате связи с реальностью и трагическим последствиям.

Тем временем индустрия продолжает движение в сторону игрушек с алгоритмами: летом Mattel объявила о сотрудничестве с OpenAI, что сразу вызвало опасения специалистов по защите детей. После публикации результатов новой проверки эти опасения усилились. Авторы отчёта считают, что даже если ограничения станут более надёжными, остаётся открытым вопрос о том, как постоянное общение с подобными устройствами может повлиять на развитие детей. Реальные последствия проявятся только тогда, когда подрастёт первое поколение, которое выросло рядом с такими игрушками.