Оружие, наркотики и Микки Маусы в Газе: Copilot Designer «слетел с катушек» и генерирует всё подряд

Действующий инженер Microsoft обратился в Федеральную торговую комиссию США (FTC) с предупреждением о потенциальной опасности, связанной с генератором изображений Copilot Designer.

Шейн Джонс, работающий в компании на протяжении уже шести лет, в своём письме указал на то, что инструмент способен генерировать вредоносные изображения, однако Microsoft отказывается принимать необходимые меры по его отключению, несмотря на многочисленные предупреждения.

В ходе проверки безопасности Copilot Designer Джонс обнаружил, что инструмент способен создавать изображения со сценами насилия, сексуализированными женскими образами, несовершеннолетними с оружием, а также пропагандирующие употребление алкоголя и наркотиков среди подростков. Более того, были сгенерированы изображения персонажей Disney в контексте конфликта в Газе.

Джонс с декабря пытался привлечь внимание к проблемам, связанным с моделью DALL-E 3, используемой в Copilot Designer. Он долго не выносил вопрос из компании, пытаясь решить его тихо, а затем обратился напрямую в OpenAI, ответственную за разработку DALL-E 3, но и это не привело к результатам. Позже Джонс опубликовал открытое письмо на LinkedIn, чтобы привлечь внимание общественности, однако юридическая служба Microsoft потребовала его удалить.

В своём обращении к FTC инженер призвал комиссию приостановить использование Copilot Designer до внедрения дополнительных механизмов безопасности. Ведь несмотря на его прямые призывы к Microsoft, компания продолжает предлагать продукт широкой аудитории.

В ответ на опасения, высказанные сотрудником, представитель Microsoft Фрэнк Шоу заявил, что компания принимает меры для решения любых проблем, соответствующих политике безопасности Microsoft. Утверждается, что были организованы встречи с руководством продукта и Офисом ответственного ИИ для рассмотрения данного вопроса.

Кроме того, Джонс обратился к группе сенаторов США после того, как Copilot Designer сгенерировал непристойные изображения Тейлор Свифт, которые быстро распространились в сети X. Генеральный директор Microsoft Сатья Наделла назвал случившееся «тревожным и ужасным», пообещав усилить меры безопасности.

Напомним, что в прошлом месяце компания Google столкнулась с похожей проблемой и временно отключила собственный генератор изображений на основе ИИ после обнаружения некорректных исторических иллюстраций.

Интересно, не лишится ли Шейн Джонс работы за свою чрезмерно активную гражданскую позицию и желание защитить пользователей, ведь поднятым шумом он мог лишь навредить репутации Microsoft, а также отпугнуть потенциальных работодателей, если кто-то хотел переманить инженера на свою сторону.