Говоришь не по-английски — плати в 179 раз больше: исследование вскрыло языковую дискриминацию ИИ

4017
Говоришь не по-английски — плати в 179 раз больше: исследование вскрыло языковую дискриминацию ИИ

GPT, Gemini и Claude в тесте не участвовали, но расслабляться их пользователям рано.

image

Искусственный интеллект может тратить на одинаковые задания в 179 раз больше электроэнергии только из-за языка, на котором человек задаёт вопрос. При сравнении 122 языков английский оказался самым экономным, а пушту потребовал максимальных затрат. При этом нейросеть гораздо чаще ошибалась на языках, обработка которых обходилась ей дороже. Исследователи обнаружили неожиданное неравенство, которое может повлиять на стоимость и доступность ИИ для миллионов людей.

Разница особенно заметна на конкретных цифрах. Для обработки 900 заданий на английском языке модель Qwen3-8B израсходовала 17,6 килоджоуля энергии, а на пушту потребовалось уже 3147 килоджоулей. Причём английские ответы оказались правильными в 94,6% случаев, тогда как на пушту точность упала до 40,4%. Ещё хуже нейросеть справилась с шанским языком, распространённым преимущественно в Мьянме. Правильными оказались лишь 10,6% ответов.

Чтобы исключить влияние сложности самих вопросов, исследователи давали нейросети одинаковые задания на разных языках. Модель читала короткий текст, а затем выбирала правильный ответ из четырёх вариантов. Всего специалисты проверили 122 языка, причём расход электричества измеряли непосредственно на графических процессорах NVIDIA. Поэтому учёные сравнивали реальные энергозатраты оборудования, а не приблизительные расчёты.

Причину огромного разрыва специалисты нашли в особенностях работы языковых моделей. Прежде чем обработать текст, нейросеть разбивает его на небольшие фрагменты, которые называют токенами. Один токен может содержать целое слово, его часть или отдельный символ. Английский язык широко представлен в материалах, на которых обучают современные модели, поэтому нейросети обычно справляются с английскими словами довольно эффективно. С менее распространёнными языками возникают трудности: программе приходится разбивать текст на большее количество фрагментов и выполнять дополнительные вычисления.

Но самым неожиданным оказалось поведение нейросети при составлении ответов. На английский вопрос Qwen3-8B в среднем генерировала 186 токенов, а на аналогичный вопрос на пушту уже 4164. Вместо короткого объяснения модель начинала рассуждать, повторять фразы и иногда вовсе теряла способность остановиться. В одном из заданий на языке тигринья нейросеть повторила одно и то же предложение 45 раз, хотя от неё требовалось лишь выбрать правильный вариант ответа.

Бесконечные рассуждения обходились компьютеру особенно дорого. Чем длиннее становился ответ, тем больше промежуточной информации графическому процессору приходилось хранить в памяти и учитывать при создании следующих слов. Одновременно рос расход энергии на каждый новый токен. Для английского показатель составлял около 0,1 джоуля, а для пушту уже 0,84 джоуля. Получалось, что нейросеть генерировала гораздо больше текста и тратила значительно больше электричества на каждый его фрагмент.

Русский язык показал заметно лучшие результаты. На тот же набор заданий модель потратила 43,6 килоджоуля, примерно в 2,5 раза больше английского показателя. При этом нейросеть правильно ответила на 90,9% вопросов. Французский потребовал в 1,7 раза больше энергии, чем английский, а китайский в 2,1 раза. По точности все три языка также значительно опередили пушту, тибетский и шанский.

Исследователи обнаружили ещё одну любопытную особенность. Сама письменность далеко не всегда определяет, насколько дорого нейросети обходится обработка языка. Например, китайский использует иероглифы, но при создании каждого токена модель тратила примерно столько же энергии, сколько на английском. Некоторые разновидности арабского тоже оказались довольно экономными, поскольку нейросеть уже хорошо знакома с их письменностью по другим обучающим материалам. Главную роль играет то, насколько хорошо язык представлен в обучающих данных и насколько эффективно модель умеет обрабатывать его текст.

Чтобы убедиться, что проблема не ограничивается одной нейросетью, специалисты сравнили пять моделей из семейств Qwen3, Gemma 3 и Llama 3.1. Проверки повторили на разных графических процессорах, а к заданиям на понимание текста добавили математические задачи и обычные пользовательские вопросы. Разрыв в энергопотреблении сохранялся, хотя его величина зависела от модели, оборудования и характера заданий.

Авторы работы предупреждают, что результаты нельзя автоматически переносить на все существующие ИИ-сервисы. Коммерческие модели GPT, Gemini и Claude не участвовали в испытаниях, поскольку исследователи не имели доступа к оборудованию, на котором работают закрытые системы. Кроме того, тесты опирались на стандартизированные переводы, а повседневная речь может заметно отличаться от подготовленных заданий.

Обнаруженное неравенство создаёт вполне практическую проблему. Если обслуживание пользователей на отдельных языках требует в десятки или сотни раз больше электричества и вычислительных мощностей, компаниям становится дороже поддерживать такие языки. Одновременно люди получают менее точные ответы. Исследователи опасаются, что разработчики могут ограничивать поддержку языков, которые обходятся дорого и приносят меньше дохода.

Снизить расходы специалисты предлагают несколькими способами. Нейросети можно обучать лучше распознавать редкие языки, ограничивать слишком длинные ответы и передавать запросы специализированным моделям. В отдельных случаях поможет перевод вопроса на английский с последующим переводом ответа обратно, хотя при таком подходе появляется риск потерять важные смысловые оттенки.

Авторы считают, что разработчикам пора оценивать языковые модели по двум показателям сразу: насколько правильно нейросеть отвечает и сколько энергии тратит на работу. Пока компании обращают внимание преимущественно на качество ответов и общую стоимость вычислений, огромная разница между языками остаётся практически незаметной. В результате способность человека пользоваться искусственным интеллектом на родном языке может зависеть от того, насколько хорошо разработчики подготовили нейросеть к работе именно с его письменностью и словами.