Как стать хакером за 5 минут и найти миллион чужих сообщений. (Спойлер: достаточно просто зайти в облако)

Популярное приложение для общения с искусственным интеллектом неожиданно оказалось в центре крупной утечки данных. Сервис Chat & Ask AI, которым, по заявлению разработчиков, пользуются более 50 миллионов человек, открыл доступ к огромному массиву личных переписок пользователей с чат-ботом. Среди них оказались сообщения о самоубийстве, создании наркотиков и взломе программ.

Проблему обнаружил независимый исследователь безопасности, известный под именем Гарри. Он выяснил, что причина в неверной настройке облачной платформы Google Firebase, которая используется для разработки мобильных приложений. При такой ошибке любой желающий может выдать себя за «авторизованного» пользователя и получить доступ к внутреннему хранилищу данных. По словам исследователя, в открытой базе находилось около 300 миллионов сообщений от более чем 25 миллионов человек. Он изучил выборку из 60 тысяч учетных записей и около миллиона сообщений.

В базе содержалась полная история диалогов с искусственным интеллектом, время отправки сообщений, заданные пользователями имена чат-ботов, параметры настройки моделей и указание, какая именно языковая модель использовалась. Само приложение работает как оболочка, которая подключается к крупным языковым моделям разных компаний, в том числе к решениям OpenAI, Anthropic и Google.

Содержимое переписок показало, что многие обращения к таким системам совсем не безобидны. Пользователи спрашивали, как «безболезненно покончить с собой», просили составить предсмертные записки, интересовались способами изготовления метамфетамина и методами взлома различных сервисов. Ранее исследователи уже отмечали, что ответы чат-ботов на темы самоубийства могут быть опасными, а в отдельных случаях виртуальные помощники даже отговаривали людей обращаться за реальной помощью.

Приложение Chat & Ask AI выпущено турецкой компанией Codeway. В магазине Google Play у него более 10 миллионов установок, а в магазине Apple около 318 тысяч оценок. На странице компании указано, что в её офисах в Стамбуле и Барселоне работают более 300 сотрудников. При этом на сайте сервиса заявляется о «корпоративном уровне защиты» и соответствии международным стандартам безопасности и европейским требованиям по защите данных.

Гарри сообщил о проблеме разработчику 20 января. Ошибка затрагивала не только Chat & Ask AI, но и другие популярные приложения Codeway. По его словам, компания закрыла уязвимость во всех своих продуктах в течение нескольких часов после уведомления.

Неверные настройки Google Firebase давно известны специалистам по безопасности и регулярно приводят к утечкам. Гарри создал инструмент для автоматической проверки приложений в магазинах Apple и Google и обнаружил такую же проблему у 103 из 200 проверенных программ для iOS. В результате оказались открыты десятки миллионов файлов. Руководитель компании Trail of Bits Дэн Гвидо подтвердил, что это распространённая и легко обнаруживаемая слабость. По его словам, инструмент для поиска таких ошибок можно собрать очень быстро.