«Ты — эксперт» больше не работает. Оказывается, нейросети от этого только тупеют

«Ты — эксперт в машинном обучении», «Представь, что ты senior-разработчик» — подобные вступления к промптам давно стали ритуалом при работе с нейросетями. Интернет переполнен гайдами, советующими назначить модели роль профессионала, прежде чем задавать вопрос. Исследователи из Университета Южной Калифорнии выяснили, что такая техника не просто бесполезна в ряде задач, а ухудшает результат.

Метод persona-based prompting появился в 2023 году, когда учёные начали изучать влияние ролевых инструкций на поведение языковых моделей. Идея выглядела логично: если попросить модель вести себя как эксперт, ответы станут точнее и профессиональнее. Практика оказалась сложнее теории.

В препринте под названием «Expert Personas Improve LLM Alignment but Damage Accuracy» группа исследователей во главе с аспирантом Цзычжао Ху показала, что эффективность «экспертных персон» целиком зависит от типа задачи. Для задач, связанных с выравниванием — написанием текстов, ролевыми сценариями, безопасностью, — назначение роли действительно улучшает качество ответов. Персона «монитора безопасности», например, повысила процент отказов на атаки в бенчмарке JailbreakBench на 17,7 процентных пункта — с 53,2 % до 70,9 %.

А вот для задач, опирающихся на фактические знания модели — математики, программирования, ответов на вопросы, — картина обратная. Тестирование на бенчмарке MMLU продемонстрировало, что «экспертная персона» стабильно уступает базовой модели во всех четырёх категориях: общая точность составила 68 % против 71,6 % без всякой роли. Механизм прост: присвоение роли активирует в модели режим следования инструкциям, отвлекая ресурсы от извлечения фактов из обучающих данных. Никакого нового знания фраза «ты — эксперт» не добавляет.

Ху пояснил, что просьба «веди себя как опытный программист» не улучшит качество кода. Зато детальное описание предпочтений по архитектуре проекта, инструментам и интерфейсу — задачи из области выравнивания — вполне способно помочь модели выдать более подходящий результат. Общая формулировка вроде «ты эксперт-фуллстек-разработчик» бесполезна, а конкретные требования к проекту — полезны.

Чтобы объединить достоинства обоих подходов и обойти недостатки, исследователи предложили технику PRISM — Persona Routing via Intent-based Self-Modeling. Система использует механизм gated LoRA: базовая модель остаётся неизменной и обрабатывает запросы, требующие фактических знаний, а специальный адаптер подключается только там, где ролевое поведение действительно повышает качество ответа. Решение о маршрутизации принимает обучаемый «шлюз», распознающий намерение запроса.

Практический вывод из исследования укладывается в короткое правило: когда важны точность и факты — отправляйте запрос без лишних преамбул; когда важны стиль, структура и соблюдение правил — описывайте требования максимально конкретно.