Image

70 Гбит/с на бумаге. А сколько выдержит NGFW?

Четыре обещания об AI-агентах, которые ломаются при проверке на токенах

75
Четыре обещания об AI-агентах, которые ломаются при проверке на токенах

AI-агенту часто обещают простую жизнь: загрузить все документы, поставить сотню скиллов, собрать команду субагентов и подключить память. После этого система якобы сама разберётся с рабочей задачей. Проверка по трём критериям, качеству, токенам и времени, быстро показывает цену таких советов. На записи открытого урока о контексте AI-агента одну задачу запускают в разных обвязках и разбирают, где токены помогают, а где становятся шумом.

Ниже четыре популярных обещания, которые стоит проверять до того, как вы встроите агента в процесс.

Обещание: загрузи всё, агент сам найдёт нужное

Кажется логичным положить в контекст всю переписку, документы, регламенты и историю проекта. Модель получит максимум информации и сможет принять лучшее решение. На практике большое контекстное окно не означает, что его нужно заполнять целиком.

В окно попадает не только пользовательский запрос. До первого слова агент уже получает системные инструкции, описание инструментов, правила проекта, навыки и историю диалога. В уроке сравнивают две обвязки: у Codex стартовые инструкции занимают около 20 000 токенов, у минималистичного харнеса pi около 640.

Проблема начинается раньше, чем окно заполнится. По материалам урока качество плавно снижается примерно после половины доступного контекста. Резкой ошибки не происходит. Агент продолжает отвечать уверенно, но хуже находит нужный фрагмент и легче смешивает разные задачи.

Вместо загрузки всего сразу используют прогрессивное раскрытие. Агент получает только файлы и правила, нужные на текущем этапе. В примере с базой заказов такой подход потребовал около 5 000 токенов. Попытка передать всё целиком заняла около 540 000 токенов.

Практическое правило простое: новая тема получает новый чат, разные проекты получают разные пространства, а большие документы подключаются через поиск, а не целиком.

Обещание: чем больше скиллов, тем умнее агент

Скилл полезен, когда хранит проверенный способ решения конкретной задачи. Но каждый скилл и каждое правило занимают место в контексте. Если подключить сотни навыков одновременно, агент будет тратить внимание на выбор между ними ещё до начала работы.

Посты CyberED об агентных системах формулируют эту проблему жёстко: одна и та же модель с сотнями скиллов может справляться хуже, чем в минималистичной обвязке с чёткими правилами под задачу. Это не значит, что библиотека навыков вредна. Вредно загружать всю библиотеку в активный контекст.

Рабочая схема выглядит иначе. В контексте остаётся короткое описание навыка и условие его вызова. Полная инструкция раскрывается только тогда, когда этот навык действительно нужен. После выполнения этапа лишнюю часть контекста можно сжать.

На записи урока о харнесах и токенах этот подход сравнивают на одной задаче в LM Studio, ChatGPT и pi. Сильная модель не отменяет архитектуру контекста. Она лишь дороже ошибается, если архитектуры нет.

Обещание: команда агентов всегда сильнее одного

Субагент может экономить контекст. Он получает узкую микрозадачу, работает в отдельном окне и возвращает оркестратору только результат. Главный агент не читает каждый файл и сохраняет внимание для архитектурных решений.

Но само наличие команды ничего не гарантирует. На уроке задачу по базе объёмом 11,8 МБ решили двумя способами. В первом один агент написал код запроса и прошёл им по базе, не читая файл целиком. Во втором команда субагентов забрала файлы полностью и разбирала их средствами модели. Обе схемы дали результат, но команда потратила заметно больше токенов.

Значит, вопрос должен звучать не сколько агентов добавить, а какую часть работы нельзя надёжнее решить кодом или одним узким исполнителем.

Для команды нужны правила передачи результата и критерии приёмки. Без них оркестратор над оркестратором не уменьшает ошибку, а размножает её. Вирусные рои из десятков и сотен агентов работают только там, где задачи достаточно атомарны и результат каждого шага можно проверить.

Обещание: подключи второй мозг, и память решит контекст

Память часто представляют как одну базу, куда агент складывает всё важное. Но разные типы информации требуют разного хранения. Для документов подходит поиск по смыслу. Для структуры проекта может понадобиться граф. Для фактов, которые меняются со временем, важен срок годности.

Главный риск состоит не в том, что агент забудет факт, а в том, что он запомнит ошибку. В одном из постов CyberED разбирается сценарий: агент сделал неверный вывод и сохранил его. Исходный документ вышел из контекста, а ошибочная запись осталась и в следующих запусках стала выглядеть как проверенный факт.

Поэтому до включения памяти нужно ответить на пять вопросов:

  • что агенту разрешено запоминать;
  • из какого источника появился факт;
  • кто может изменить или удалить запись;
  • что делать при конфликте старых и новых данных;
  • какие решения требуют повторной проверки.

В структуре проекта полезно сохранять provenance: ссылку на файл, цитату или другой источник для каждого важного решения. Тогда память становится не складом уверенных формулировок, а набором проверяемых утверждений.

Токены показывают только часть цены

Экономия токенов сама по себе не является целью. На уроке предлагают оценивать три величины одновременно:

  • качество, то есть решена ли задача;
  • стоимость входных и выходных токенов;
  • время, включая количество запросов и ручных проверок.

Минималистичный харнес может быть дешевле, но всё нужное под задачу придётся достроить. Большая готовая система быстрее стартует, но расходует часть окна ещё до вашего запроса. Субагент способен разгрузить основной контекст, но только если не читает целую базу вместо короткого запроса.

Есть и четвёртая цена: риск действия. Правило в промпте остаётся текстовой рекомендацией. Если агенту нельзя тратить деньги, менять доступы, отправлять сообщения или записывать новые правила в память без согласования, ограничение должно быть реализовано кодом и правами. Human in the loop нужен именно перед действиями, которые трудно отменить.

Как проверять обещание до внедрения

Возьмите одну повторяемую рабочую задачу и прогоните её в двух вариантах. В первом используйте текущую обвязку. Во втором уберите лишние инструкции, раскройте контекст по этапам и замените чтение больших файлов кодом или поиском. Для каждого запуска запишите качество результата, токены и время.

Затем проверьте четыре вещи:

  • понимаете ли вы, что агент прочитал до первого сообщения;
  • можно ли подключать навыки только по необходимости;
  • возвращают ли субагенты короткий проверяемый результат;
  • есть ли источник и срок годности у записей памяти.

Если ответов нет, добавление новых агентов и инструментов лишь увеличит систему, но не сделает её надёжнее. Посмотреть полный эксперимент с разными харнесами, прогрессивным раскрытием контекста и ограничениями для опасных действий можно на записи открытого урока про контекст AI-агента.

AI-агенты контекстное окно память AI-агента субагенты токены харнес
Alt text
Обращаем внимание, что все материалы в этом блоге представляют личное мнение их авторов. Редакция SecurityLab.ru не несет ответственности за точность, полноту и достоверность опубликованных данных. Вся информация предоставлена «как есть» и может не соответствовать официальной позиции компании.

CyberEd

Кибербезопасность – наш ключевой фокус. Мы накопили огромную экспертизу и умеем решать задачи любого уровня сложности