Microsoft представила PyRIT - инструмент для оценки рисков ИИ

Компания Microsoft представила новый инструмент для автоматизации оценки рисков в системах искусственного интеллекта, получивший название PyRIT (Python Risk Identification Tool). Эта разработка направлена на проактивное выявление потенциальных угроз в генеративных ИИ-системах, что позволяет организациям по всему миру безопасно интегрировать последние достижения в области ИИ.

Инструмент может быть использован для оценки устойчивости крупных языковых моделей к различным категориям угроз, включая создание недостоверной информации и запрещённого контента. Кроме того, PyRIT способен выявлять угрозы безопасности, такие как создание вредоносного ПО и взлом системы, а также угрозы конфиденциальности, включая кражу личных данных.

Microsoft подчеркивает, что PyRIT не заменяет ручной анализ систем ИИ, а лишь дополняет существующие навыки команды по безопасности. Инструмент помогает выявлять самые проблемные зоны работы ИИ, генерируя десятки запросов и существенно экономя время специалистов.

PyRIT был представлен как раз на фоне недавнего отчёта компании Protect AI, где исследователи раскрыли множество критических уязвимостей в популярных платформах цепочки поставок ИИ, таких как ClearML, Hugging Face, MLflow и Triton Inference Server, которые могут привести к выполнению произвольного кода и раскрытию конфиденциальной информации.

Таким образом, в условиях бурного роста использования нейросетевых моделей и на фоне многочисленных сообщений об уязвимостях в ИИ-системах, новый инструмент Microsoft позволит организациям эффективно оценивать все возможные риски и позволит избежать репутационных потерь из-за утечек данных или предвзятости моделей.