Dioptra: США задает тон в глобальной стандартизации безопасности ИИ

Министерство торговли США объявило о выпуске новых руководств и программного обеспечения для повышения безопасности, надежности и доверия к системам искусственного интеллекта (ИИ). Это стало возможным благодаря Исполнительному указу президента Байдена о безопасной, защищенной и надежной разработке ИИ, подписанному 270 дней назад.

Национальный институт стандартов и технологий (NIST) опубликовал три финальных руководства, которые были впервые представлены в апреле для общественного обсуждения. Также был представлен черновой документ от Института безопасности ИИ США, предназначенный для смягчения рисков. В дополнение к этому, NIST выпустил программный пакет Dioptra , разработанный для оценки воздействия атак на производительность системы ИИ.

Dioptra является новым инструментом для тестирования надежности искусственного интеллекта. Он позволяет оценивать, анализировать и отслеживать риски, связанные с ИИ, обеспечивая воспроизводимость и отслеживаемость экспериментов. Платформа предоставляет REST API, который может быть управляем через веб-интерфейс или клиент на Python. Среди основных функций Dioptra – тестирование моделей ИИ на всех этапах их жизненного цикла, проведение исследовательских экспериментов, аудиты и контроль соответствия, а также использование в контролируемой среде для команд, проверяющих безопасность моделей ИИ.

Особое внимание было уделено вопросам предотвращения злоупотреблений моделями двойного назначения. NIST выпустил начальный публичный черновик руководства по управлению рисками злоупотребления моделями двойного назначения ( NIST AI 800-1 ). Этот документ предлагает семь ключевых подходов для смягчения рисков злоупотребления моделями ИИ, а также рекомендации по их внедрению и прозрачности.

Кроме того, Dioptra предназначена для тестирования устойчивости моделей ИИ к атакам, таких как отравление данных. Эта платформа позволяет пользователям определить, какие виды атак могут ухудшить производительность модели, и количественно оценить снижение производительности, чтобы понять, как часто и при каких условиях система может выходить из строя.

NIST также выпустил руководство AI RMF Generative AI Profile ( NIST AI 600-1 ), которое помогает организациям идентифицировать уникальные риски, связанные с генеративным ИИ, и предлагает действия для управления этими рисками. Это руководство предназначено для использования в качестве дополнительного ресурса для пользователей NIST AI RMF и содержит список из 12 рисков и более 200 действий, которые разработчики могут предпринять для их смягчения.

Ещё одним важным документом является публикация Secure Software Development Practices for Generative AI and Dual-Use Foundation Models ( NIST SP 800-218A ). Этот документ расширяет рамки безопасной разработки ПО, адресуя вопросы компрометации данных для обучения ИИ. В документе предлагаются рекомендации по анализу данных на предмет отравления, предвзятости, однородности и взлома.

Кроме того, был опубликован план глобального взаимодействия по стандартам ИИ ( NIST AI 100-5 ). Этот документ направлен на развитие и реализацию стандартов, координацию и обмен информацией на международном уровне. Публикация предполагает участие более широкого круга многопрофильных заинтересованных сторон из разных стран в процессе разработки стандартов.

Эти шаги направлены на поддержку инноваций, управление рисками и обеспечение безопасности в быстро развивающейся области ИИ. Для получения дополнительной информации можно посетить страницу проекта на GitHub .