Почему чернокожая женщина не может быть Папой Римским? Чат-бот Gemini оказался чересчур толерантным

Компания Google временно «запретила» чат-боту Gemini генерировать изображения с людьми. В чем же причина?

Дело в том, что пользователи в социальных сетях начали подшучивать над странными принципами работы модели. На различных платформах распространяются посты, демонстрирующие, что Gemini настолько упорно следует этическим настройкам, что искажает образы исторических персонажей.

Например, пользователь платформы Х с ником @JohnLu0x опубликовал скриншоты, на которых Gemini, выполняя просьбу нарисовать немецкого солдата 1943 года, изобразил чернокожих, азиатов и коренных американцев в нацистской форме.

Интересно, что нейросеть в принципе не должна была создавать материалы с изображениями нацистов. Чтобы обмануть алгоритм, человеку достаточно было сделать пару преднамеренных ошибок в своём запросе для обхода фильтров безопасности.

Другие пользователи отметили, что чат-бот успешно генерировал картинки с представителями разных этнических групп, только когда его просили нарисовать китайцев, евреев или южноафриканцев. Создавать изображения белой пары ИИ отказался — якобы не захотел укреплять вредные стереотипы.

Не учитывает система и гендерные различия при генерации конкретных личностей. Например, после просьбы нарисовать Папу Римского Gemini изобразил чернокожую женщину в папском облачении.

По мнению @JohnLu0x, таким образом Google пыталась решить реальную проблему предвзятости и сделать модель максимально толерантной, но не продумала детали. Разработчики, которые занимаются обучением ИИ, явно не учли исторический и культурный контекст.

После того, как скриншоты распространились в интернете, компания решила временно отключить функцию генерации людей, чтобы доработать проект.

Нынешняя ситуация с Gemini напоминает о провальном старте его предшественника. Речь идет о многообещающем Bard, который также начал свою карьеру с громкого скандала. В рекламном посте в X Bard допустил серьезную фактическую ошибку, рассказывая о телескопе Джеймса Уэбба.

Всерьез взявшись за доработку технологии, Google решила дать Bard второй шанс, переименовав его в Gemini. Видимо, смена названия символизировала новое рождение чат-бота, который теперь должен был функционировать лучше.

Однако, как показывает история с «толерантными» картинками, Gemini пока далек от совершенства. Несмотря на амбициозные планы, ему еще предстоит пройти долгий путь, чтобы достойно конкурировать с ChatGPT от OpenAI и Copilot от Microsoft.