Ваш ChatGPT глупее кошки. По крайней мере, так считает Янн Лекун. И уходит из Meta*

Один из самых авторитетных ученых в мире искусственного интеллекта, Янн Лекун, хочет радикально пересобрать подход к созданию «человеческого» ИИ. Вместо больших языковых моделей он предлагает делать ставку на так называемые «мировые модели». И, как сообщают несколько крупных изданий, Лекун готовится уйти из компании Meta*, где он много лет был главным научным сотрудником по фундаментальным исследованиям ИИ.

Лекуну 65 лет, он старожил индустрии и один из людей, благодаря которым современные нейросети вообще появились. В Meta у него были практически безграничные ресурсы крупной технологической компании, которая в последние годы тратит колоссальные суммы на ИИ, переманивает лучших специалистов и уверяет, что «суперинтеллект уже на горизонте», как писал в июльском блоге Марк Цукерберг. На этом фоне вопрос выглядит очевидным: почему уходить именно сейчас.

Отчасти ответ Лекун озвучивает уже давно. В последние годы он все чаще и жестче критикует большие языковые модели в нынешнем виде и называет их тупиком. Еще в прошлом году он говорил, что LLM становятся «съездом с трассы, отвлечением, тупиком», и что сколько их ни масштабируй, до настоящего человеческого уровня они не дотянутся. При этом критики напоминают, что раньше Лекун энергично защищал языковые модели от нападок и, по их мнению, теперь сделал резкий разворот.

Отдельная линия сюжета связана с внутренней кухней Meta. По данным СМИ, этим летом руководителем направления ИИ в компании стал 28-летний предприниматель и фанат LLM, под крыло которого формально попал и Лекун. В этом году Meta также пригласила еще одного молодого главного научного сотрудника, Шэнцзя Чжао, которому приписывают «прорыв в масштабировании моделей». В то время как Лекун публично говорит, что больше не верит в то, что простое наращивание размеров сетей приведет к настоящему интеллекту. Организационная структура ИИ-подразделений в Meta и без того выглядела запутанной, а сотни сотрудников, по данным репортажей, были сокращены в попытке навести порядок.

На фоне всего этого Financial Times пишет, что следующий шаг Лекуна может быть собственный стартап, который полностью сосредоточится на разработке мировых моделей. Формально он пока ничего не объявлял, но в публичных выступлениях довольно ясно описывает, чем хочет заниматься.

Лекун давно продвигает идею, что будущее ИИ связано с носимыми устройствами и ассистентами, с которыми мы будем общаться почти как с людьми. И именно здесь, по его мнению, LLM упираются в потолок. Он подчеркивает, что современные языковые модели, при всей их впечатляющей словесной ловкости, даже не дотягивают до уровня кошки или крысы. Домашнее животное умеет строить сложные последовательности действий, понимает физический мир, может планировать и обладает причинно-следственными представлениями о том, что произойдет, если сделать то или иное движение. Модели, натренированные в основном на тексте, всего этого по-настоящему не умеют.

Чтобы объяснить, чего ему не хватает в нынешнем ИИ, Лекун предлагает простой мысленный эксперимент. Представьте, говорит он, что перед вами в воздухе висит куб. Теперь мысленно поверните его на 90 градусов вокруг вертикальной оси. Человек без труда «увидит» в голове, как поменяется вид куба. У нас есть внутренняя модель объекта и пространства вокруг него. Языковая модель может сочинить шуточное стихотворение про вращающийся куб, но не способна оперировать им так же, как человек, и использовать это для реального взаимодействия с миром.

Лекун также сравнивает объемы данных, с которыми сталкивается ребенок и нейросеть. LLM обучаются на тексте, который человеку потребовалось бы читать сотни тысяч лет. Но четырехлетний ребенок, бодрствующий в сумме около 16 тысяч часов, за это время успевает получить, по оценкам Лекуна, порядка 10^14 байт сенсорной информации через зрение и осязание. И эти данные намного богаче по структуре, чем голый текст. На его взгляд, сегодняшние модели сильно обеднены именно потому, что не видят мир, а только читают о нем.

Какую же систему он собирается строить взамен. В его представлении мировая модель должна постоянно держать внутри себя некое абстрактное «состояние мира» или хотя бы той части реальности, которая сейчас важна. Вместо последовательного предсказания следующего слова такая система должна уметь прогнозировать, к какому новому состоянию придет мир после определенной последовательности действий. Иными словами, ей надо научиться смотреть на мир сейчас, представлять, что будет потом, и подбирать действия, которые приведут к желаемому результату.

Такая архитектура, считает Лекун, позволит создавать системы, которые умеют по-настоящему планировать, в том числе иерархически, и рассуждать, а не просто подбирать правдоподобные ответы. Кроме того, она, по его словам, может оказаться безопаснее привычных LLM. Механизмы контроля тогда будут заложены в саму модель и ее целевую функцию, а не навешиваться сверху через дообучение загадочного «черного ящика», который выдает только текст.

В классическом ИИ, объясняет ученый, многие задачи сводятся к оптимизации: есть некая функция, которую нужно минимизировать или максимизировать. В случае мировых моделей он предлагает думать в терминах функции энергии, которая измеряет степень несовместимости между текущим состоянием и желаемым. Модель должна научиться искать такое будущее состояние, где эта несовместимость минимальна, и действия, которые к нему приведут.

При этом даже сам Лекун не претендует на то, что все детали уже продуманы. Его выступления и утечки о планах стартапа звучат не как готовый техплан, а как набросок большого замысла. Похоже, он нацелился на новый «лунный проект» в ИИ, вторую волну эффекта, похожего на появление ChatGPT, но уже на основе иной архитектуры. Впрочем, путь от красивой идеи до работающих систем может занять очень много времени, потребовать миллиардных инвестиций и совсем не гарантирует успеха.

Meta официально пока не объяснила, как возможный уход Лекуна и его работа над мировыми моделями вписываются в общую стратегию компании по ИИ. Журналисты отмечают, что компания не спешит комментировать ситуацию, а сам Лекун, судя по всему, предпочитает сначала построить новую модель мира, а уже потом обсуждать ее публично.

*(организация признана экстремистской и запрещена в РФ)