Что должен уметь новичок в ИБ, чтобы ИИ был помощником, а не источником ошибок

471
Что должен уметь новичок в ИБ, чтобы ИИ был помощником, а не источником ошибок

Однажды специалист и ИИ-агент параллельно разбирали один и тот же подозрительный файл. Агент закончил заметно раньше, но не увидел второй исполняемый файл, спрятанный внутри первого. Человек потратил больше времени и нашёл его. Эта история про человека: результат работы ИИ зависит от того, кто им управляет и сможет ли он заметить пропуск.

Попробовать работу с ИИ-агентами на реальных задачах помогут воркшопы по ИИ из бесплатной подборки «Инженерный октябрь» для тех, кто начинает в информационной безопасности.

Работа по инструкции постепенно уходит к ИИ. У новичка остаётся то, что агент сделать не может: понимать систему, ставить задачу, проверять вывод и отвечать за последствия. Разберём каждое умение.

Понимать систему, с которой работает агент

Агент быстро пишет команды, но не знает, зачем в вашей сети стоит конкретный сервер и что сломается, если его остановить. Если отдать ему решение без контекста, он может остановить процесс, от которого зависит бизнес.

Есть и вторая причина держаться за фундамент. Рано или поздно агент упрётся в непонятную ошибку, и вам придётся разбираться самому. В этот момент вы опускаетесь на уровень собственных знаний: как устроены сетевые протоколы, операционная система, журналы событий. Эта база останется, даже если инструменты сменятся. Конкретная утилита может исчезнуть через год, а логика её работы пригодится и дальше.

Что сделать: выберите одну область, например сети или Windows-инфраструктуру, и добейтесь того, чтобы понимать её без подсказок модели.

Ставить задачу и держать стратегию

Типичный антипаттерн выглядит так: «найди все уязвимости и не ошибайся». Модель не знает бизнес-логики приложения, поэтому в ответ выдаёт ложные срабатывания и общий текст. Агент, который перебирает все типы атак подряд, тратит лимиты и почти ничего не находит.

Рабочая схема другая. Вы формулируете гипотезу, решаете, куда копать, и отдаёте агенту объёмную рутину: разобрать большой JavaScript-файл, распарсить вывод сканера, набросать скрипт для запросов к API. Стратегия остаётся вашей.

Ещё одна деталь: ИИ ищет самый короткий путь к цели. Если попросить его «защитить инфраструктуру», он вполне может решить, что надёжнее всего отключить её от интернета. Поэтому в задаче нужны ограничения: что можно трогать, что нельзя, в каком формате нужен результат.

Длинные ролевые вступления вроде «ты сеньор с десятилетним опытом» почти ничего не дают. Конкретика работает лучше: данные, цель, ограничения, критерий готовности.

Проверять каждый вывод

Модель отвечает уверенно, даже когда ошибается. Галлюцинации пока нельзя устранить технически, поэтому проверка становится обязательной частью работы.

Простой набор встречных вопросов отсекает большую часть ложных находок:

  • Это точно эксплуатируется?
  • Как подтвердить находку вручную?
  • Напиши минимальный PoC.

Важные выводы стоит перепроверить два-три раза, желательно другой моделью. В длинных задачах полезно вести файл решений, куда записываются отвергнутые гипотезы и ложные срабатывания. Тогда агент не будет возвращаться к ним в следующей сессии.

Сдавать результат без проверки нельзя. В баг-баунти уже жалуются на поток отчётов, сгенерированных ИИ, которые не совпадают с реальностью. Такой отчёт тратит время команды и бьёт по репутации автора.

Следить за тем, что уходит в модель

Всё, что вы отправляете в облачную модель, покидает ваш контур. Провайдер может обещать, что не обучается на запросах, но проверить это нельзя. Бесплатные модели на агрегаторах, скорее всего, собирают данные.

Базовые правила:

  • не отправлять персональные данные, токены, пароли и куки;
  • не загружать внутренние документы и конфигурации без разрешения работодателя;
  • помнить, что LLM-шлюзы, которые маскируют секреты перед отправкой, снижают риск, но полной гарантии не дают.

Отдельный риск связан с блокировками. Некоторые провайдеры настороженно относятся к использованию моделей в кибербезопасности и блокируют аккаунты. Модель не отличает разрешённый пентест от взлома, поэтому даже легальная задача может закончиться баном.

Ограничивать агенту руки

Агент спрашивает разрешение перед выполнением команд, но построчно эти команды почти никто не читает. Однажды он попросит запустить большой скрипт, и вы согласитесь.

Поэтому агента запускают в изолированной среде: в виртуальной машине, Docker-контейнере или на отдельном компьютере, не связанном с рабочими аккаунтами. В некоторых агентах есть хуки, которые механически запрещают опасные действия, например удаление файлов. Ответственность за то, что сделал агент, лежит на том, кто его запустил.

Учиться вместе с ИИ

Есть опасение, что новое поколение специалистов не сможет прочитать конфиг без подсказки чат-бота. Избежать этого помогает простое упражнение: решайте CTF-задания параллельно руками и с агентом, а потом сравнивайте, где ошиблась модель и где сильнее оказались вы. Так видно и пробелы в собственных знаниях, и слабые места инструмента.

Второй полезный приём: записывайте то, что узнали. Заметки о решённых задачах потом становятся контекстом для агента и вашей личной базой знаний.

ИИ освобождает время. Если это время уходит на изучение нового, вы растёте быстрее. Если на ничегонеделание, через какое-то время карьера остановится.

Где потренироваться

В подборку «Инженерный октябрь» входят не только четыре воркшопа по ИИ, но и доступ к курсам «Аналитик SOC», «Инженер по информационной безопасности» и «Основы пентеста» с практическими заданиями.

AI-агенты искусственный интеллект карьера в ИБ
Alt text
Обращаем внимание, что все материалы в этом блоге представляют личное мнение их авторов. Редакция SecurityLab.ru не несет ответственности за точность, полноту и достоверность опубликованных данных. Вся информация предоставлена «как есть» и может не соответствовать официальной позиции компании.

CyberEd

Кибербезопасность – наш ключевой фокус. Мы накопили огромную экспертизу и умеем решать задачи любого уровня сложности

Рекламодатель
Реклама. АО «Позитив Текнолоджиз». ИНН 7718668887. 18+
Сайт рекламодателя: ptsecurity.com↗️
АО «Позитив Текнолоджиз»