Корпорации объединились против глюков нейросетей.

Похоже, совсем скоро делать покупки в интернете сможет не человек, а программа по его поручению. Но вместе с удобством появляется и новая проблема: как не позволить таким помощникам тратить деньги не туда и не так.
Цифровых угроз и без того хватает – вредоносные программы, подмена личности, взлом аккаунтов. Теперь к ним добавляется новый риск: действия от имени пользователя начинают выполнять так называемые агентные системы на базе искусственного интеллекта. Ошибка или взлом в таком сценарии может обойтись дороже обычного.
Чтобы не допустить хаоса, отраслевое объединение FIDO Alliance вместе с Google и Mastercard запускает рабочие группы, которые займутся разработкой единых правил для проверки и защиты операций, выполняемых такими системами. Речь идёт о платежах и других действиях, которые программа совершает вместо человека.
Идея простая: создать базовый набор защитных механизмов, который смогут использовать разные компании. Пользователь должен подтверждать действия программы способами, которые сложно перехватить или подделать. Параллельно сервисы смогут с помощью криптографии проверять, что программа действительно выполняет поручение владельца аккаунта, а не действует по чужой команде. При этом важную роль играет конфиденциальность: участники сделки будут видеть только нужную им часть данных.
Глава FIDO Alliance Эндрю Шикиар говорит, что прежние подходы к безопасности не учитывали сценарии, где действия выполняются не человеком напрямую. По его словам, ситуация напоминает историю с паролями: когда-то их тоже внедряли без расчёта на масштаб современной цифровой экономики, и последствия пришлось разгребать годами.
Компании уже предложили свои наработки. У Google есть протокол Agent Payments Protocol, который позволяет криптографически подтвердить, что пользователь действительно разрешил операцию. Mastercard, совместно с Google, развивает механизм Verifiable Intent – систему, которая даёт человеку контроль над действиями программы и фиксирует его намерения.
В Google объясняют задачу на простом примере. Пользователь хочет купить кроссовки, но нужной модели нет в наличии. Тогда он поручает программе купить пару автоматически, как только она появится и будет стоить не дороже 100 долларов. В таком сценарии важно гарантировать, что покупка произойдёт строго по заданным условиям, без сюрпризов.
Разработка единых стандартов обычно занимает годы, но сейчас времени меньше. Технологии на базе искусственного интеллекта развиваются слишком быстро, и участники проекта хотят ускорить процесс. При этом предстоит не только описать правила, но и проверить их на практике, а затем убедить компании внедрить решения в реальных сервисах.
В Mastercard признают, что цена ошибки может быть высокой. Чем быстрее такие механизмы появятся и начнут работать, тем проще будет защитить пользователей и продавцов от злоупотреблений.