Нейросети уже анализируют журналы событий, ищут уязвимости, составляют отчёты и пишут код, однако многие компании до сих пор не контролируют применение подобных инструментов. Согласно исследованию IBM за 2025 год, 13% опрошенных организаций сталкивались со взломом моделей или приложений на базе искусственного интеллекта. Среди пострадавших компаний 97% не установили необходимые ограничения доступа, а 63% организаций не разработали правила управления ИИ.
Одной из причин остаётся стремление как можно быстрее сократить объём ручной работы. Сотрудники передают нейросетям внутренние документы, фрагменты кода, журналы событий и материалы совещаний, не всегда оценивая содержание запросов и условия хранения информации. Результат тоже требует проверки: языковая модель может добавить несуществующий факт, исказить вывод или подготовить работоспособный на первый взгляд, но уязвимый код.
Практический разбор подобных рисков пройдёт 6 августа на открытом воркшопе «AI в деле: кейсы внедрения и гайд по автоматизации». Специалист по информационной безопасности Евгений Строев планирует использовать обезличенные материалы пяти рабочих встреч, посвящённых проверке безопасности нового продукта.
Из записей совещаний нейросеть должна собрать черновик презентации с заданной структурой и учётом предполагаемой аудитории. После генерации Строев проверит факты, сопоставит выводы с исходными материалами, найдёт возможные выдумки и убедится, что модель не включила в презентацию чувствительные сведения. Финальную версию специалист доработает вручную.
Демонстрация затронет один из главных вопросов корпоративного использования генеративного ИИ: какую информацию можно передавать внешней модели. Проект OWASP относит раскрытие чувствительных данных к основным рискам приложений на базе больших языковых моделей. Утечка может произойти через пользовательский запрос, ответ нейросети, подключённый источник данных или историю взаимодействия с сервисом.
Рабочую схему с обязательной проверкой можно применять не только при подготовке презентаций. В программу встречи вошли анализ технической документации и уязвимостей, составление отчётов и требований, обработка журналов событий, подготовка запросов к SIEM-системам, моделирование угроз и создание черновиков скриптов.
Отдельное внимание уделят сгенерированному коду. Даже синтаксически правильный фрагмент может содержать небезопасные функции, ошибки в обработке данных или зависимости с известными уязвимостями. Перед использованием код необходимо изучить, запустить в изолированной среде и проверить стандартными средствами тестирования.
Евгений Строев более 15 лет работает в информационной безопасности и занимается защитой данных, тестированием на проникновение и моделированием угроз. Воркшоп начнётся 6 августа в 19:30 по московскому времени.