«Умный» ИИ не смог сложить 2+2, зато убедительно объяснил почему получилось 5

Исследователи из Университета Аризоны провели серию экспериментов, которые ставят под сомнение реальную способность современных моделей с симулированным «цепочечным» рассуждением (chain-of-thought, CoT) выполнять логические выводы за пределы знакомых шаблонов. В последние месяцы индустрия искусственного интеллекта активно развивает такие подходы, предполагая, что пошаговая логика позволяет ИИ лучше справляться со сложными задачами. Однако накопившиеся данные указывают, что при малейших отклонениях от привычных форматов ответы становятся неустойчивыми и нередко теряют смысловую и логическую связность.

Чтобы проверить, насколько эти модели способны к обобщённым выводам, учёные создали контролируемую среду DataAlchemy. В ней небольшие модели обучались на примерах двух примитивных текстовых преобразований — ROT-шифра и циклических сдвигов, а затем на комбинациях этих функций в разной последовательности. После обучения их тестировали на задачах, отличавшихся по типу, формату и длине входных данных от обучающего набора. Например, модель, видевшая примеры только с двумя сдвигами, должна была обработать задачу с двумя ROT-преобразованиями, зная лишь, как выглядит каждое по отдельности.

Результаты показали, что при попытке применить изученные шаблоны к незнакомым комбинациям модели часто выдавали либо правильные рассуждения с неверными ответами, либо верные результаты с нелогичным объяснением пути. При этом даже небольшое изменение длины текста или количества шагов в цепочке приводило к резкому падению точности. Ещё один критический фактор — формат входных данных: добавление в задание символов или букв, которых не было в обучении, значительно ухудшало корректность результатов.

Учёные отмечают, что частичное улучшение возможно при помощи дообучения с надзором (SFT), однако это не является доказательством настоящей способности к обобщению. По их мнению, текущие CoT-модели — это прежде всего структурированное сопоставление знакомых шаблонов, а не полноценное абстрактное мышление. Их склонность к «гладкой бессмысленности» создаёт иллюзию надёжности, что особенно опасно в высокорисковых сферах — медицине, финансах и юриспруденции. Авторы призывают тестировать системы на задачах, полностью выходящих за рамки обучающих данных, и разрабатывать архитектуры, способные к более глубокому логическому выводу, а не только к имитации рассуждений.