Чем больше полномочий получает искусственный интеллект, тем меньше смысла полагаться на добросовестность самой модели. Глава Microsoft Сатья Наделла предложил проектировать передовые ИИ-системы так, будто модель уже может ошибиться, выйти за ожидаемые рамки или оказаться скомпрометированной.
Ключевой принцип сводится к внешнему контролю. Модель должна быть отделена от программного слоя, который выдаёт доступ к данным, инструментам и действиям. Ограничения, права и защитные механизмы Наделла предлагает держать вне самой нейросети, чтобы система не могла определять собственные границы или сама подтверждать безопасность своих решений.
Самый заметный элемент такой архитектуры глава Microsoft сравнил с аварийным тормозом. Уполномоченный человек должен сохранять возможность приостановить или полностью остановить модель прямо во время выполнения задачи. Для более мощных систем, по оценке Наделлы, понадобятся отдельные стандартизированные механизмы изоляции и остановки.
Контроль не должен сводиться к одной кнопке. Каждое значимое действие модели предлагается фиксировать в защищённом и понятном человеку журнале, а результаты проверять независимо от самой нейросети. Наделла также выступил за постоянные тесты отказов, атак и пограничных сценариев, независимый аудит и быстрое раскрытие инцидентов затронутым сторонам.
Логика похожа на подход к внутреннему нарушителю в корпоративной сети. Речь не о том, что ИИ обязательно действует злонамеренно. Риск возникает из-за сочетания широких полномочий, доступа к чувствительным данным и невозможности точно объяснить каждое решение через конкретную строку кода или набор параметров модели.
Подход уже частично проявляется в продуктах Microsoft. В октябре компания выпустила ИИ-контейнеры в Windows 11, где операционная система, а не агент, ограничивает доступ к файлам, сети и другим ресурсам. Такой механизм решает часть той же задачи через независимую границу полномочий, которую агент не должен контролировать.
Одного человеческого подтверждения, однако, недостаточно. Недавняя работа показала, что при высокой скорости агентов оператор быстро превращается в формального проверяющего и начинает автоматически подтверждать запросы. Контроль человека теряет смысл, если поток решений становится слишком большим для реальной проверки каждого шага.
Публикация Наделлы не анонсирует новый продукт Microsoft, срок запуска или готовый отраслевой стандарт. Речь идёт о принципах архитектуры, где модель заранее считают потенциальным источником риска, ограничивают её полномочия снаружи и сохраняют независимый способ остановки. Главный вывод сводится к тому, что надёжная ИИ-система должна требовать как можно меньше доверия к самой модели.
