Microsoft и Nvidia создали имитирующий человеческий язык искусственный интеллект с 530 млрд параметров

Microsoft и Nvidia создали имитирующий человеческий язык искусственный интеллект с 530 млрд параметров

Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день.

image

Компании Nvidia и Microsoft анонсировали разработанную ими совместно крупнейшую на сегодняшний день языковую модель на архитектуре трансформер, получившую название Megatron-Turing Natural Language Generation (MT-NLG).

MT-NLG обладает в три раза большим количеством параметров по сравнению с предыдущей крупнейшей ИИ-системой GPT-3 (175 млрд). В число функций MT-NLG входят:

  • Предсказание текста по смыслу;
  • Понимание прочитанного;
  • Генерация логических выводов;
  • Создание заключений на естественном языке;
  • Различение смысла слов с несколькими значениями.

Обучение столь мощной модели стало возможным благодаря многочисленным инновациям. Например, Nvidia и Microsoft объединили современную инфраструктуру обучения на основе GPU с передовым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для повышения эффективности и стабильности оптимизации.


В нашем телеграм канале мы рассказываем о главных новостях из мира IT, актуальных угрозах и событиях, которые оказывают влияние на обороноспособность стран, бизнес глобальных корпораций и безопасность пользователей по всему миру. Узнай первым как выжить в цифровом кошмаре!