Битва малышей-нейросетей: Meta* выпустила Muse Ember и нанесла болезненный удар по Claude Haiku 5.5

leer en español

36
Битва малышей-нейросетей: Meta* выпустила Muse Ember и нанесла болезненный удар по Claude Haiku 5.5

Новая нейросеть способна за один запрос прочитать огромный программный проект.

image

Meta* представила Muse Ember, свою самую компактную нейросеть для ИИ-агентов, которая по результатам тестирования почти не уступает Claude Haiku 5.5, но тратит на выполнение заданий втрое меньше денег. Средняя расчётная стоимость одной тестовой задачи составила 14 центов против 41 цента у конкурента. При этом модель способна обрабатывать до миллиона токенов за один запрос, работать с программным кодом, документами, изображениями, звуком и видео.

Новая модель предназначена для работы, которую ИИ-агенты выполняют десятки и сотни раз подряд. Например, цифровой помощник получает просьбу проверить большой программный проект. Сначала ему нужно найти нужные файлы, прочитать код, запустить проверки, исправить ошибки и убедиться, что изменения ничего не сломали. Каждое действие требует обращения к нейросети, а расходы растут вместе с количеством шагов. Meta предлагает поручить большую часть повседневных операций Muse Ember, оставив более мощным моделям сложное планирование и принятие решений.

Главное преимущество новинки показало независимое сравнение интеллектуальных возможностей нейросетей. Muse Ember набрала 36 баллов по сводному индексу Artificial Analysis, столько же, сколько Claude Haiku 5.5 при максимальной глубине рассуждений. Однако выполнение одной задачи из тестового набора обошлось примерно в 0,136 доллара против 0,411 доллара. Разница особенно важна для компаний, которые ежедневно обрабатывают тысячи обращений или запускают множество автоматизированных проверок.

Любопытно, что базовые цены за обработку текста у двух моделей совпадают. За миллион входящих токенов разработчики платят 10 центов, за миллион выходящих — 50. Токены представляют собой небольшие фрагменты текста, на которые нейросеть разбивает запросы и ответы. Экономия возникает благодаря тому, что Muse Ember генерирует примерно втрое меньше выходных токенов при выполнении тестовых заданий. Кроме того, повторная обработка уже сохранённой информации обходится дешевле. Когда агент многократно обращается к одним документам или фрагментам программы, разница постепенно накапливается.

Ещё одна особенность Muse Ember заключается в огромном контекстном окне. Нейросеть может получить за один запрос до миллиона токенов, включая большие документы, программные проекты и длинную историю переписки. Максимальный объём ответа достигает 512 тысяч токенов. Для разработчиков такая вместимость удобна: агенту не приходится постоянно разбивать материалы на небольшие части и отдельно передавать каждую порцию. Однако миллион токенов не означает постоянную память. Модель учитывает информацию, переданную в доступном контексте, но для сохранения сведений между самостоятельными сеансами нужны дополнительные механизмы.

Muse Ember также умеет работать с изображениями, аудиозаписями и видео. Например, разработчик может отправить нейросети снимок экрана вместе с описанием ошибки, а офисный сотрудник — запись совещания с просьбой выделить принятые решения. Модель способна извлекать сведения из отсканированных документов, разбирать диаграммы и анализировать последовательность событий в видеороликах. Ответы при этом выдаёт в текстовом виде.

В некоторых испытаниях компактная модель обошла более дорогих конкурентов. В AutomationBench-AA, где ИИ должен самостоятельно выполнять многошаговые рабочие задания, Muse Ember успешно справилась с 68,1% задач против 35,4% у Claude Haiku 5.5. В Terminal-Bench 4.0, проверяющем способность работать с программным кодом через командную строку, новинка получила 40,9% против 32,8%. Результаты показывают, что небольшая модель может эффективно выполнять последовательные операции, для которых раньше разработчики выбирали более мощные нейросети.

Однако преимущество сохраняется далеко не во всех испытаниях. В FrontierCode 2.0, где нейросетям предлагают решать инженерные задачи и оценивают пригодность полученного кода для реальных проектов, Claude Haiku 5.5 набрала 34,9%, а Muse Ember только 27,2%. Более сложная работа, требующая глубокого понимания программы и её устройства, по-прежнему может оказаться не по силам компактной модели.

Проверка фактических знаний выявила ещё одно ограничение. В тесте AA-Omniscience Muse Ember правильно ответила лишь на 21,1% вопросов против 34,7% у Claude Haiku 5.5. Однако почти в 64% случаев нейросеть предпочла отказаться от ответа, если не могла уверенно определить правильный вариант. Благодаря осторожному поведению доля выдуманных ответов оказалась существенно ниже, чем у конкурента. Для автоматизированной работы с документами или деловой информацией отказ от сомнительного ответа иногда безопаснее убедительно изложенной ошибки.

Meta также проверила, насколько надёжно Muse Ember выполняет поручения пользователя и реагирует на попытки вмешаться в её работу. В частности, специалисты изучали поведение модели при встрече с вредоносными инструкциями, спрятанными на веб-страницах, в документах и результатах работы внешних инструментов. Злоумышленники могут использовать подобные инструкции, чтобы заставить ИИ-агента нарушить первоначальное задание или раскрыть конфиденциальную информацию. По оценке Meta, Muse Ember не достигла порогов высокого риска в проверенных категориях, включая кибербезопасность и потерю контроля над автономными действиями. При этом результаты внутренних испытаний не гарантируют отсутствие проблем при реальном использовании.

Разработчики уже могут пользоваться Muse Ember через программный интерфейс Meta Model API и среду Muse Code. Компания установила тарифы в размере 10 центов за миллион входящих и 50 центов за миллион выходящих токенов. Повторное чтение сохранённого контекста стоит 0,4 цента за миллион токенов. Однако за большое контекстное окно придётся доплачивать: если входящий запрос превышает 200 тысяч токенов, базовые тарифы вырастают втрое, причём повышенная цена распространяется на весь запрос, а не только на превышение лимита.

Для обучения Muse Ember компания впервые использовала более мощную Muse Wonder Full. Теперь Meta предлагает разработчикам распределять задачи между несколькими моделями. Muse Wonder может продумывать сложные решения, Muse Spark помогать с программированием и координацией работы, а Muse Ember выполнять многочисленные небольшие задания. Например, старшая модель составляет план переработки большого программного проекта, а компактная параллельно исправляет отдельные файлы и запускает проверки.

Главный результат запуска Muse Ember заключается в возможности заметно сократить расходы на массовую работу ИИ-агентов без сопоставимого падения качества на некоторых типах задач. Однако обещанная трёхкратная экономия пока относится к определённому набору испытаний. В реальных проектах расходы будут зависеть от длины запросов, сложности заданий и количества повторных обращений к модели. Разработчикам придётся самостоятельно проверять, где компактная нейросеть действительно заменяет более дорогую, а где попытка сэкономить приводит к дополнительным ошибкам и повторной работе.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.

Рекламодатель
Реклама. АО «Позитив Текнолоджиз». ИНН 7718668887. 18+
Сайт рекламодателя: ptsecurity.com↗️
АО «Позитив Текнолоджиз»