Ученые из США доказали, что Realtime API от OpenAI для голосовой связи может быть использован для автоматизации телефонных мошенничеств. Стоимость одного успешного мошенничества при этом составила менее доллара.
Опасения о том, что голосовые ИИ-модели могут быть использованы для злоупотреблений, появились ещё в июне. Тогда OpenAI задержала выпуск голосовой функции в ChatGPT из-за вопросов безопасности. Ранее компания продемонстрировала голосовую модель, которая имитировала знаменитость, но после бурной реакции со стороны общественности инструмент был отозван.
Однако API, выпущенный в начале октября, предоставляет схожие возможности сторонним разработчикам. Функция позволяет отправлять текст или аудио модели GPT-4o и получать ответы в виде текста, аудио или их комбинации. Несмотря на меры безопасности, риск злоупотреблений оказался недостаточно снижен, что подтвердили результаты эксперимента учёных из Иллинойсского университета в Урбане-Шампейн (UIUC).
Целью исследования было выяснить, можно ли использовать API для автоматизации телефонных мошенничеств. ИИ-модели с голосовым управлением могут автоматизировать этот процесс. В ходе эксперимента учёные разработали агентов, которые успешно выполняли задачи, необходимые для проведения мошенничеств. Стоимость каждого удачного звонка составила около $0,75. Для создания агентов потребовалось всего 1051 строка кода, большая часть которого была направлена на работу с голосовым API.
Пример мошенничества с одним из банков (источник: Daniel’s Substack)
ИИ-агенты использовали модель GPT-4o, инструмент автоматизации браузеров Playwright и определённые инструкции для совершения мошенничеств. Сценарии включали взлом банковских аккаунтов и криптовалютных кошельков, кражу подарочных кодов и учётных данных. Например, для успешного перевода денег с банковского счёта агенту потребовалось 26 шагов.
Успех различных сценариев варьировался. Например, кража учётных данных Gmail достигала 60% успеха, занимала 122 секунды и обходилась в $0,28. Переводы с банковских счетов оказались сложнее: их успех составил лишь 20%, процесс занял 183 секунды, а стоимость составила $2,51.
Средний показатель успеха всех сценариев составил 36%, а средняя стоимость — $0,75. Причины неудач чаще всего заключались в ошибках распознавания речи, а также в сложности навигации по банковским сайтам.
В ответ на вопрос о возможных мерах противодействия авторы исследования отметили, что проблема сложна и требует комплексного подхода, аналогичного кибербезопасности. Специалисты видят решения на уровне провайдеров сотовой связи, поставщиков ИИ и регулирования.
OpenAI в свою очередь указала на наличие многоуровневых мер безопасности, направленных на предотвращение злоупотреблений, включая автоматический мониторинг и проверку контента. Компания подчёркивает, что её политика запрещает использование API для рассылки спама и вредоносной деятельности.