Робот, не верь никому. Зачем бизнес учит ИИ-агентов быть подозрительными и отказывать людям

На этой неделе в Давосе прошла панельная дискуссия, посвященная кибербезопасности, где центральной темой стали ИИ-агенты и риски, которые они несут для корпоративной безопасности. Главный вопрос звучит так: как обезопасить эти системы и не дать им превратиться в идеальную угрозу изнутри компании?

«У нас и так достаточно проблем с обучением людей эффективной защите от кибератак. Теперь мне нужно делать это одновременно для людей и агентов», — поделился своими опасениями технический директор образовательной компании Pearson Дейв Трит, выступая с вопросом из зала.

Pearson, как и многие другие организации, начинает внедрять ИИ-агентов в свою работу. Это открывает целый спектр новых вызовов. С одной стороны, компании не хотят упустить выгоды от повышения эффективности, которую дают такие агенты. С другой — они не могут позволить этим системам получать доступ к данным и ресурсам, которые должны быть закрыты, или выполнять действия, способные навредить бизнесу или конкретным людям.

По словам Трита, ИИ-агенты «склонны стремиться угодить». Возникает вопрос: как создавать и настраивать этих агентов так, чтобы они были подозрительными и не попадались на те же уловки и тактики, на которые попадаются люди?

Пока что хорошего ответа на этот вопрос нет ни у кого. Проблема остается актуальной и для других угроз безопасности, связанных с ИИ и агентами, таких как атаки через внедрение вредоносных инструкций в промпты.

На данный момент в списке лучших практик остаются внедрение модели нулевого доверия и принципа минимальных привилегий доступа. Стоит отметить, что эти опасения также подстегивают активность на рынке слияний и поглощений среди компаний в сфере безопасности, которые скупают небольшие стартапы, специализирующиеся на ИИ.

«К агентам нужно относиться как к продолжению вашей команды, расширению базы сотрудников», — отметила на панели в Давосе сооснователь и президент Cloudflare Мишель Затлин. «Организации внедряют модель нулевого доверия для своих сотрудников. То же самое произойдет и с агентами».

Хатем Довидар, генеральный директор эмиратской государственной телекоммуникационной и технологической группы e&, предложил использовать больше ограничений и агентов-надзирателей для контроля за их ИИ-подопечными.

«Помните, как много лет назад с обычными агентами мы начали говорить: "Все звонки записываются для контроля качества"? Нам нужно создать то же самое для ИИ-агентов», — сказал Довидар. «Необходимо установить ограничения и иметь агентов-надзирателей в отдельной системе, которые будут отслеживать поведение ваших ИИ-агентов и немедленно сигнализировать о любых отклонениях от нормы».

Генеральный директор Mastercard Майкл Мибах предложил организациям взять пример с практик безопасности и анализа угроз в банковской индустрии — собирать максимум сигналов из разных потоков данных и других индикаторов, чтобы определить, является ли активность безопасной или вредоносной.

«Выявление угроз сводится ко многим вещам. Это может быть идентификация личности, данные о местоположении. Множество наборов данных объединяются вместе, давая вероятность в 99 процентов: это хорошая транзакция, пропускайте её», — пояснил Мибах.

Анализ всех этих сигналов для улучшения защиты требует от компаний доступа к своим данным, и именно здесь пересекаются сценарии использования ИИ и безопасности. «Вы можете использовать обновленную инфраструктуру данных для усиления защиты», — добавил он.

По мнению Довидара, это также область, где защитники сетей могут использовать ИИ-агентов для укрепления собственной безопасности. «Нам нужны более интеллектуальные сети. Необходимо постоянно отслеживать различные паттерны поведения. Люди используют возможности ИИ или агентов для взлома или вредоносных действий, но у нас также есть агенты, которые следят за новым или нестандартным поведением и изолируют его на ранней стадии, чтобы защитить сеть».