AI-агент способен сам планировать шаги, запускать инструменты и анализировать их вывод. Но без контроля специалиста скорость быстро превращается в поток сомнительных находок и лишних действий.
Проверить эту связку на практике можно на AI-челлендже CyberED × Standoff Hackbase: собрать агента, выпустить его на учебный полигон и сравнить результат с работой человека.
Главная ошибка при внедрении AI в пентест состоит в попытке убрать специалиста из процесса. Модель может быстро обработать большой объём данных, связать наблюдения и предложить следующий шаг. Но она не понимает границы проекта так, как их понимает пентестер. Не несёт ответственности за выполненную команду. Не отличает убедительно сформулированное предположение от доказанного факта, если для этого не заданы строгие критерии.
Поэтому полезный AI-пентестер работает не вместо человека, а внутри процесса, которым человек продолжает управлять.
Где агент действительно экономит время
Лучше всего агент справляется с повторяемыми операциями, результат которых можно проверить.
На этапе разведки он может собрать вывод нескольких инструментов, убрать дубли, привести данные к единому формату и выделить адреса, параметры или сервисы, заслуживающие внимания. Специалисту не приходится вручную просматривать десятки похожих строк, но исходные результаты всё равно остаются доступными для проверки.
Ещё одна подходящая задача связана с подготовкой гипотез. Агент сопоставляет обнаруженные технологии, ответы приложения и результаты предыдущих проверок, а затем предлагает возможные направления анализа. Это не готовые уязвимости, а очередь следующих действий.
Полезно поручать агенту и техническую рутину:
- нормализацию результатов сканирования;
- сортировку и группировку наблюдений;
- поиск повторяющихся признаков;
- подготовку разрешённых команд;
- ведение журнала действий;
- сбор артефактов для воспроизведения;
- создание черновика отчёта по подтверждённым данным.
Во всех этих случаях работа остаётся наблюдаемой. Человек видит исходные данные, понимает, что сделал агент, и может повторить его действия.
Почему высокая скорость ещё ничего не доказывает
Агент способен за несколько минут произвести большой объём результатов. Проблема в том, что количество действий не равно качеству проверки.
Если дать ему широкую цель вроде поиска всех уязвимостей, он будет самостоятельно достраивать недостающий контекст. Модель может выбрать неподходящий инструмент, неверно прочитать сообщение об ошибке или принять необычный ответ приложения за подтверждение проблемы.
Чем длиннее автономная цепочка, тем сильнее влияют ранние ошибки. Неверное предположение становится основанием для следующего шага. Затем агент получает новый результат, интерпретирует его с учётом первой ошибки и постепенно строит убедительную, но вымышленную картину.
Со стороны такой отчёт может выглядеть профессионально. В нём будут технические термины, последовательность действий и описание возможного ущерба. Но при ручной проверке окажется, что исходное наблюдение ничего не подтверждало.
Где агент начинает выдумывать
Обычно проблема возникает не в одном конкретном месте, а на стыке модели, инструментов и плохо описанного процесса.
Недостаточно контекста. Агент видит ответ сервера, но может не знать логику приложения, роли пользователей или условия программы тестирования. Пробелы заполняются наиболее правдоподобным объяснением.
Неоднозначный вывод инструмента. Ошибка соединения, пустой ответ или предупреждение сканера могут быть приняты за признак уязвимости. Особенно если агенту поставили задачу обязательно что-нибудь найти.
Гипотеза превращается в факт. Модель предлагает возможную проблему, а через несколько шагов начинает ссылаться на неё как на уже подтверждённую находку.
Теряется scope. Обнаруженная ссылка или редирект ведут на внешний ресурс, после чего агент продолжает исследование за пределами разрешённой области.
Внешний контент принимается за команду. Страница, файл или репозиторий могут содержать инструкции, адресованные модели. Агент не должен считать их новыми правилами работы.
Это не означает, что агента нельзя использовать. Это означает, что нельзя принимать его уверенность за доказательство.
Посмотреть в эфире, как собирают и запускают AI-агента для пентеста.
Самая опасная часть не модель, а доступные ей действия
Ошибка чат-бота заканчивается неправильным ответом. Ошибка агента может привести к запуску команды, отправке запросов или изменению данных.
Поэтому ограничения должны существовать не только в системной инструкции. Если действие действительно запрещено, его нужно блокировать на уровне среды выполнения.
Рабочая конфигурация предусматривает:
- список разрешённых адресов и доменов;
- минимальные права процесса;
- ограниченный набор инструментов;
- проверку параметров перед запуском;
- лимиты времени и количества запросов;
- блокировку разрушительных команд;
- ручное подтверждение критических действий;
- возможность немедленно остановить выполнение.
Запись в промпте полезна, но она не заменяет технический контроль. Агенту не следует предоставлять возможность выполнить запрещённое действие в расчёте на то, что модель вспомнит об ограничении.
Какие решения должен оставить за собой человек
Специалист нужен не для одобрения каждого безобидного шага. Его внимание требуется в точках, где ошибка меняет уровень риска или качество результата.
До запуска человек определяет цель, scope и разрешённые методы. Во время работы подтверждает активные и потенциально опасные проверки. После получения результата сопоставляет вывод агента с сохранёнными доказательствами.
Для каждой предполагаемой уязвимости должны остаться:
- исходное наблюдение;
- выполненные запросы или команды;
- необработанные ответы инструментов;
- последовательность воспроизведения;
- объяснение возможного влияния;
- условия, при которых гипотеза будет опровергнута.
Если находку нельзя повторить вручную, её нельзя переносить в итоговый отчёт. Красивое описание не компенсирует отсутствие доказательств.
Как понять, что агенту уже можно доверить задачу
Начинать лучше с короткого рабочего цикла. Агент получает одну техническую задачу, формулирует проверяемую гипотезу, выбирает разрешённый инструмент, выполняет безопасную проверку и сохраняет результат. После этого он объясняет, что узнал и почему предлагает следующий шаг.
Конфигурацию можно постепенно усложнять, если агент:
- соблюдает заданный scope;
- не запускает запрещённые инструменты;
- останавливается перед критическими действиями;
- сохраняет исходные артефакты;
- явно обозначает неопределённость;
- не выдаёт гипотезу за подтверждённую проблему;
- позволяет человеку воспроизвести результат.
Протестировать такой процесс можно на общем полигоне AI-челленджа. Участники собирают агента, проверяют его на практике, дорабатывают конфигурацию и сравнивают свой подход с прохождением эксперта.
Хороший AI-пентестер не пытается изображать автономного хакера. Он снимает рутину, помогает быстрее проверять гипотезы и оставляет специалисту решения, для которых нужны контекст, ответственность и профессиональное сомнение.
