Переворот в умножении матриц открывает двери для ускорения ИИ

Прорыв в умножении матриц может ускорить и сделать эффективнее модели искусственного интеллекта. Учёные обнаружили новый способ быстрого умножения больших матриц, устранив ранее неизвестную неэффективность. Это открытие может ускорить работы моделей ИИ, таких как ChatGPT, которые в значительной мере зависят от умножения матриц. Исследования, представленные в двух недавних статьях, привели к значительному прогрессу в эффективности умножения матриц, которого не наблюдалось более десяти лет.

Умножение матриц играет ключевую роль в современных моделях ИИ, включая распознавание речи и изображений, чат-ботов и генерацию изображений ИИ. Графические процессоры (GPU) особенно эффективны в выполнении задач умножения матриц благодаря их способности обрабатывать множество вычислений одновременно.

Новые исследования, проведённые учёными из Университета Цинхуа, Калифорнийского университета в Беркли и Массачусетского технологического института, направлены на теоретические улучшения, стремясь снизить сложность умножения матриц для увеличения эффективности на общем уровне. Традиционно умножение двух матриц размером n на n требует n в третьей степени отдельных умножений. Однако новая техника снижает верхнюю границу показателя степени, приближая её к идеальному значению 2.

В 2020 году был достигнут значительный прогресс в улучшении эффективности умножения матриц, а в ноябре 2023 года был представлен метод, устраняющий неэффективность в предыдущем подходе, установив новую верхнюю границу для показателя сложности. Это открытие стало наиболее значительным прогрессом в этой области с 2010 года. Усовершенствование метода умножения матриц позволит ускорить обучение моделей ИИ и повысить эффективность выполнения задач.

На практике это может привести к разработке более сложных моделей ИИ, ускорению их обучения и сокращению необходимой вычислительной мощности и энергопотребления. Такие улучшения также могут снизить экологический след технологий ИИ. Влияние на скорость работы моделей ИИ будет зависеть от архитектуры системы и степени зависимости её задач от умножения матриц. Улучшения в алгоритмической эффективности часто необходимо сочетать с оптимизацией аппаратного обеспечения для полного раскрытия потенциала ускорения.