Microsoft не смогла изъять свою новую модель WizardLM 2 из публичного доступа

На прошлой неделе исследователи Microsoft представили WizardLM 2 — одну из самых мощных открытых моделей больших языковых моделей (LLM). Однако вскоре после появления публикации компания спешно удалила её из Интернета. По данным самих разработчиков, это произошло из-за пропуска ими необходимого этапа тестирования на токсичность перед выпуском модели в открытый доступ.

В удалённом сообщении разработчиков WizardLM 2 говорилось, что модель представляет собой «следующее поколение передовых больших языковых моделей, улучшенных для сложных чатов, многоязычных систем, рассуждений и агентских задач». В отличие от других моделей, обучение которых производилось на общедоступных данных из Интернета или научных журналах, разработчики WizardLM 2 обучали своё детище на синтетических данных, созданных другими ИИ-моделями.

В теории, такой подход должен был сделать новую LLM от Microsoft безопаснее, однако, так как проверить это должным образом, по всем директивам компании, разработчики не успели, — модель была «изъята» из публичного доступа.

Несмотря на быстрое удаление, некоторые пользователи успели скачать LLM и разместили её на платформах Github и Hugging Face. Таким образом, модель, которая по мнению Microsoft не была готова к широкому распространению, теперь всё равно находится в свободном доступе. Как говорится, что однажды попало в Интернет, остаётся там навсегда. Microsoft, по классике, отказалась комментировать произошедшее.

Сами разработчики 16 апреля опубликовали следующее сообщение: «Нам очень жаль. Прошло много времени с момента последнего выпуска модели, поэтому мы не были знакомы с новым процессом выпуска: мы случайно пропустили этап тестирования на токсичность. Уже скоро мы завершим этот тест и выпустим модель заново. Не волнуйтесь, спасибо за вашу заботу и понимание».

Страницы WizardLM 2 на Github и Hugging Face по-прежнему недоступны, но модель легко найти в нескольких ветках-копиях на тех же платформах.

С помощью метода MT-Bench, который автоматически оценивает производительность больших языковых моделей, исследователи Microsoft обнаружили, что WizardLM 2 демонстрирует высококонкурентоспособные результаты по сравнению с самыми современными закрытыми разработками, такими как GPT-4-Turbo и Claude-3. Теоретически, новая модель и правда может стать «убийцей» нашумевших моделей от OpenAI и Anthropic.

Пока достоверно неизвестно, действительно ли новая модель от Microsoft способна генерировать вредоносные и даже «токсичные» ответы, или же компания удалила её только из-за непроверенности данных аспектов. Однако факт остаётся фактом: у компании не получилось проконтролировать распространение новой ИИ-модели, которую она посчитала неготовой к публичному использованию.