Mistral 7B — большая языковая модель французской компании Mistral AI, представленная 27 сентября 2023 года. Она содержит около 7,3 млрд параметров — числовых коэффициентов, подобранных в ходе обучения. Веса исходной модели опубликованы, поэтому её можно запускать локально при наличии подходящего программного обеспечения и вычислительных ресурсов.
Модель получает текст в виде токенов — фрагментов слов и других символов — и вычисляет вероятности следующего токена. Выбранный токен добавляется к последовательности и учитывается на следующем шаге. Базовая Mistral 7B обучена продолжать текст. Вариант Mistral 7B Instruct дополнительно настроен на выполнение инструкций, поэтому один и тот же запрос эти версии могут обработать по-разному.
При выпуске разработчик сообщил, что Mistral 7B опередила Llama 2 13B на наборе тестов, представленном в анонсе. Это сравнение относится к конкретным заданиям и методике оценки. Качество на другом языке, на специализированных текстах или при иной постановке задачи может отличаться.