Исследователи METR обновили один из самых известных графиков развития искусственного интеллекта. Возможности нейросетей продолжают расти с огромной скоростью, но обнаружился существенный разрыв. Модели прекрасно справляются с программированием, однако заметно уступают людям там, где требуется профессиональное суждение.
В опубликованном 20 ноября исследовании METR установила, что временной горизонт возможностей передовых ИИ-моделей удваивается примерно каждые 3,6 месяца, или 110 дней. Иными словами, за такой период нейросети начинают справляться с заданиями, на выполнение которых человеку требуется вдвое больше времени. При этом речь идёт о статистической оценке успешности на специально подготовленных тестах, а не о способности ИИ непрерывно работать без ошибок.
Для измерения используется показатель time horizon, который часто понимают неправильно. Исследователи определяют, сколько времени квалифицированному специалисту потребуется на выполнение конкретной задачи, а затем проверяют, справится ли с ней ИИ. Например, горизонт в 10 часов при вероятности успеха 50% означает, что модель имеет примерно равные шансы выполнить или провалить задание, на которое эксперт потратил бы 10 часов. Самой нейросети столько времени может не понадобиться.
Новая оценка охватила модели вплоть до Claude Opus 5.5 и GPT-6 Astra. Исследователи использовали 222 задания из прежнего набора Time Horizon 1.1 и добавили 36 более сложных испытаний, объединённых в 12 категорий. Отдельно проверялись 75 задач на воспроизведение программ. Расширенный набор впервые позволил подробнее изучить способности ИИ в ситуациях, где недостаточно написать работающий код или получить математически правильный ответ.
На хорошо определённых технических задачах нейросети уже демонстрируют результаты на уровне опытных специалистов или выше. При тестировании программирования и оптимизации исследователям нередко не удавалось найти экспертов, способных превзойти лучшие модели. Однако преимущество быстро сокращалось, когда задание требовало выбрать перспективное направление исследования, оценить чужую работу или принять решение без возможности немедленно проверить правильность.
Особенно показательным оказался эксперимент, в котором ИИ-агентам поручили разработать новые испытания для оценки возможностей нейросетей. Системы должны были придумать задания, которые помогли бы METR лучше изучать развитие искусственного интеллекта. Ни один предложенный вариант исследователи не сочли достаточно информативным для включения в отчёт. Модели предпочитали создавать привычные тесты с автоматически проверяемыми результатами, даже когда их специально просили предложить задания другого типа.
Другой эксперимент выявил проблемы с оценкой качества чужих решений. Когда нейросеть проверяла задания, созданные более слабой моделью, её оценки достаточно хорошо совпадали с мнением исследователей. Но при проверке работ сопоставимых или более сильных систем ИИ начинал завышать результаты. Например, Claude Opus 5.5 оценивала некоторые задания GPT-6 Astra в среднем на 0,2 балла выше человеческого эксперта по шкале от нуля до единицы.
Похожую картину показал тест на оценку критических разборов философских аргументов. Лучшие модели уже превосходят предполагаемый уровень согласованности оценок экспертов, которым давали пять минут на анализ. Однако ни одна публичная система не достигла уровня специалистов, располагающих 15 минутами. Исследователи считают, что нейросети пока недостаточно хорошо принимают решения в ситуациях, где правильность нельзя быстро установить экспериментальным путём.
Разницу во многом объясняет способ обучения современных моделей. Программный код можно запустить, математическое решение проверить, а результат оптимизации измерить числом. Благодаря такой обратной связи нейросеть получает понятный сигнал об успехе или ошибке. С выбором перспективной научной гипотезы сложнее. Проверка может потребовать месяцев экспериментов, а хороший результат не всегда удаётся выразить одной числовой оценкой.
При этом обнаруженные ограничения нельзя считать доказательством принципиальной неспособности ИИ выполнять исследовательскую работу. Некоторые новые модели, включая Opus 5.5, уже приблизились к приемлемому уровню при создании оценочных заданий, тогда как год назад все проверенные системы показывали заведомо неудовлетворительные результаты. Кроме того, в отдельных длительных экспериментах по оптимизации машинного обучения нейросети превосходили участвовавших специалистов.
Сами исследователи признают существенные ограничения новой методики. Для 31 из 36 добавленных заданий время, необходимое человеку для достижения определённого результата, оценивали специалисты, а не измеряли в полноценном эксперименте. Провести такие испытания с участием людей слишком дорого и сложно, особенно когда решение требует сотен часов или редкой квалификации. Ещё одна проблема заключается в субъективности оценок. Например, значительную часть философских аргументов проверял один эксперт, поэтому другой состав оценщиков мог бы изменить результаты.
Обновлённая статистика также не подтверждает распространённое предположение, будто прогресс искусственного интеллекта уже начал ускоряться сам по себе. METR дополнительно рассчитала сводный индекс возможностей моделей, не привязанный к продолжительности человеческой работы. По такому показателю исследователи не обнаружили убедительного ускорения или замедления развития публичных систем в целом. У отдельных разработчиков изменения темпов заметны, но выводы сильно зависят от выбранной методики.
История графика METR началась в марте 2025 года. Тогда наиболее совершенные модели имели временной горизонт около одного часа. В течение следующего года возможности выросли настолько, что прежние тесты, включавшие задания продолжительностью до 30 часов человеческой работы, перестали надёжно различать сильнейшие системы. Именно поэтому исследователям пришлось подготовить более сложные испытания и пересмотреть способы оценки.
Если механически продолжить нынешнюю тенденцию, модели могут достичь 50-процентной вероятности выполнения заданий, требующих от человека 200 часов, уже в июле 2027 года. Однако METR рассматривает подобный расчёт лишь как математическую экстраполяцию, а не достоверный прогноз. Продолжительность задачи не всегда отражает её реальную сложность, особенно когда работа связана с неопределённостью и необходимостью принимать самостоятельные решения.
Главный нерешённый вопрос касается автоматизации самих исследований искусственного интеллекта. Современные системы уже способны выполнять значительную часть технической работы, необходимой для создания новых моделей, но самостоятельный выбор научных направлений и оценка перспективных идей остаются слабее. METR не исключает резкого ускорения разработки ИИ в ближайшие несколько лет, однако собранных результатов пока недостаточно, чтобы определить, когда нейросети смогут полноценно заменить исследовательские команды.