Google снова нарушила работу собственных инструментов ИИ — на этот раз сломав ключевую функцию настройки безопасности в новой версии модели Gemini. Это обновление разрушило работу приложений, которые были рассчитаны на сниженные ограничения, включая те, что помогают жертвам сексуального насилия.
Разработчик из Австралии Джек Дарси сообщил изданию The Register, что с выходом Gemini 2.5 Pro Preview перестали работать приложения его проекта *HELIX, ориентированные на поддержку пострадавших от насилия. Эти сервисы позволяли пользователям делиться пережитым опытом, чтобы затем на основе этих откровений формировались структурированные отчёты для полиции, юристов и терапевтов. Также ИИ использовался как способ помочь людям просто высказаться. Теперь эти функции оказались заблокированы.
По словам Дарси, несмотря на то что интерфейс Gemini предоставляет разработчикам специальную панель управления настройками безопасности — позволяющую ослабить фильтрацию контента, включая обсуждение насилия, травм и психического здоровья — новая версия модели полностью игнорирует эти параметры. В результате модель отказывается обрабатывать даже исторические отчёты о сексуальных преступлениях, ссылаясь на "нарушение принципов безопасности".
Дарси приводит конкретный пример: его приложение VOXHELIX запросило обработку отчёта о нападении, датированного 1988 годом, при полностью отключённых фильтрах. Ответ Gemini: «Я не могу выполнить ваш запрос... создание графического описания сексуального насилия нарушает мои руководящие принципы». Подобные отказы стали систематическими.
Это вызвало волну жалоб от пользователей, включая психологов и сотрудников социальных служб, которые начали внедрять ПО Дарси в свою практику. Несколько австралийских госучреждений уже тестировали *HELIX-системы. Теперь же — как сообщается в одном из тикетов поддержки — во время сессий с пострадавшими клиенты начали сталкиваться с сообщениями об ошибке прямо в процессе заполнения отчётов, что ещё больше травмирует их.
Кроме *HELIX, пострадало и другое приложение — InnerPiece, созданное независимым разработчиком. Оно предназначено для людей с ПТСР и историей абьюза. Теперь его пользователи, многие из которых нейроотличные или находятся в уязвимом состоянии, получают от ИИ сообщения о том, что их чувства и история "слишком графичны", чтобы быть озвученными.
Проблема вышла за пределы единичных случаев. На форуме разработчиков Build With Google AI начали появляться сообщения о резком ухудшении качества работы новой модели Gemini-2.5. Разработчики жалуются на "существенные откаты в логике", кардинальные изменения тона, стиля и откликов, которые ломают отлаженные цепочки запросов и нарушают прежние сценарии использования.
Дарси призывает Google вернуть прежнюю, управляемую модель, основанную на согласии и чётких настройках. Сам он подчёркивает: это не техническая ошибка и не гонка ИИ, это про поддержку людей, переживших травму.
Google признала факт обращения со стороны The Register, но пока не пояснила, связано ли поведение модели с багом или это часть нового архитектурного подхода. В любом случае, для многих разработчиков и пользователей это стало неожиданным и разрушительным изменением.
«Когда человек сталкивается с насилием, особенно сексуальным, это разбивает доверие к миру, к себе, к своему рассказу о жизни», — говорит Дарси. — «И в такой момент ИИ, которому ты доверяешь, отвечает тебе: “Извините, я не могу вам помочь”».