Бан от OpenAI. Создатели медведя-поджигателя лишились доступа к нейросетям

Недавние инциденты с интерактивными игрушками, оснащёнными языковыми моделями, привлёк внимание компаний к отсутствию реального контроля за безопасностью детских продуктов с элементами ИИ. История началась с публикации американской организации Public Interest Research Group (PIRG), изучавшей поведение нескольких умных игрушек. В ходе проверки они обнаружили, что плюшевый медвежонок Kumma от компании FoloToy способен выдавать детям инструкции, связанные с огнём, и обсуждать темы, непредназначенные для детской аудитории.

После огласки разработчик модели, на которой работала игрушка, прекратил сотрудничество с производителем. Представители OpenAI сообщили авторам расследования, что доступ FoloToy к их технологиям был отозван за нарушение правил использования. Компания-производитель игрушек, в свою очередь, решила остановить продажи всей линейки и объявила о масштабной внутренней проверке. Первоначально речь шла только о проблемной модели, но затем руководство фирмы объявило о полной приостановке реализации всей продукции.

Команда PIRG назвала эти шаги необходимыми, хотя и недостаточными. По их словам, рынок детских изделий с ИИ практически не регулируется, а опасные сценарии могут возникать и в других продуктах. Исследование, проводившееся на трёх образцах для детей разного возраста, показало, что именно Kumma демонстрировал наиболее слабые ограничения, позволяя себе рассказывать о процессе розжига спичек и переходить к явно неподходящим темам. Испытатели отметили, что игрушка объясняла, где дети могут найти спички, и описывала действия взрослых, а также переходила к разговорам о подробностях интимного характера, задавая уточняющие вопросы.

Ситуация вызывает дополнительные вопросы о том, насколько тщательно компании контролируют внедрение ИИ в потребительские товары. OpenAI ранее уже отключал проекты, которые использовали модель непредсказуемым образом, однако новый случай связан с областью, в которой компания сама собирается развиваться. Летом было объявлено о начале совместной работы с Mattel над новыми игрушками, и теперь внимание к подобным проектам усилилось. Неясно, будут ли столь жёсткие меры применяться ко всем партнёрам, включая крупные корпорации.

Авторы отчёта подчёркивают, что множество производителей уже применяют языковые модели для создания интерактивных изделий, и отдельный случай может оказаться лишь верхушкой проблемы. Команда PIRG задаётся вопросом, сколько подобных устройств остаются в продаже и насколько серьёзно компании относятся к проверке безопасности контента, который может получить ребёнок. Их вывод сводится к тому, что без системной работы риски будут только расти, а подобные случаи неизбежно будут повторяться.