ИИ строит Lego, как будто прошёл физфак: учитывает устойчивость, анализирует риски и даёт инструкцию

Представьте: вы описываете задуманную модель из конструктора Lego, а искусственный интеллект самостоятельно подбирает элементы и создает 3D-модель вместе с надежной инструкцией по сборке. Что ж, такую возможность могут предоставить исследователи, разработавшие LegoGPT.

Исследовательская команда из Университета Карнеги-Меллон в Питтсбурге адаптировала нейросеть от компании Meta* для работы с кубиками Lego. Алгоритм анализирует описание желаемой конструкции и последовательно определяет оптимальное расположение каждой детали. Особое внимание уделяется проверке стабильности: все создаваемые модели проходят через виртуальное тестирование. Если добавление нового элемента нарушает устойчивость структуры — как в популярной игре "Дженга" — программа возвращается к предыдущему этапу и ищет другое решение. Механизм получил название "rollback" (откат). Итоговая инструкция выглядит вот так:

Благодаря такому подходу разработчикам удалось достичь впечатляющего результата в ходе тестирований: 98,8% успешных сборок. Для сравнения, если бы система сразу использовала первое найденное решение без проверки стабильности, этот показатель составил бы всего 24%.

Чтобы научить LegoGPT создавать устойчивые конструкции, команда сформировала базу данных из более чем 47 тысяч моделей из кубиков Lego. Каждую сопроводили описанием и тщательно проверили на физическую стабильность.

Представьте, какой образовательной ценностью обладает такая программа: если её доработать, студенты получат возможность совместно развивать логическое мышление, пространственное воображение, навыки программирования методом проб и ошибок и техники командного взаимодействия.

Ключевой принцип проекта — минимализм. Интерфейс LegoGPT и сами конструкции отличаются намеренной простотой, сочетающей ретро-эстетику с удобством использования. Встроенные ограничения помогают сохранять целенаправленность: система работает только с восемью типами кубиков, 21 категорией объектов и пространством 20х20х20 сантиметров.

На текущем этапе демонстрационная версия не позволяет задавать цвет или текстуру — все блоки остаются неокрашенными. Однако с развитием функционала LegoGPT может превратиться в мощный инструмент проектирования.

Главное преимущество инициативы перед другими разработками в сфере искусственного интеллекта — опора на репутацию бренда Lego. Несмотря на перенасыщение рынка ИИ-агентами для Minecraft и подобных платформ, создатели LegoGPT обладают серьезным опытом в области физического моделирования.

Авторы предоставили свободный доступ к проекту: разместили исходный код на GitHub , выложили датасет для тренировки модели и подготовили подробную документацию по установке и настройке системы. Желающие могут опробовать возможности LegoGPT в онлайн-демонстрации на платформе Hugging Face , хотя эта версия не поддерживает текстурирование фигур и их экспорт в формате LDraw.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.