Сияющие звезды или скрытые чёрные дыры? Исследование рисков AI-проектов

ИБ-компания Rezilion провела исследование , которое показало, что использование решений на основе больших языковых моделей (Large Language Model, LLM) несет в себе определенные опасности для бизнеса.

Эксперты Rezilion оценили 50 самых популярных LLM-проектов на GitHub с помощью инструмента Scorecard от Open Source Security Foundation, который учитывает различные аспекты проектов, такие как количество уязвимостей, способы поддержки и другие факторы.

С момента публичного запуска ChatGPT на GitHub было создано более 30 тысяч проектов, основанных на GPT-3.5. Они широко использовались в разных программных решениях. Исследователи построили «карту» этих проектов, где по оси y отложен уровень популярности, а по оси x — уровень безопасности (на основе рейтинга OpenSSF Scorecard). В результате ни один из анализируемых проектов не получил более 6,1 балла из 10. Таким образом, все самые популярные LLM-решения связаны с высоким уровнем риска, а средняя оценка составляет всего 4,6.

Самым популярным проектом оказался Auto-GPT , который заработал почти 140 тысяч звезд на GitHub за менее чем 3 месяца с момента своего запуска. Однако его рейтинг Scorecard был всего 3,7, что свидетельствует о высоком уровне риска. Как отмечают в Rezilion, новые проекты часто характеризуются быстрым ростом популярности, но разработчикам и IT-специалистам нужно быть в курсе рисков, которые они несут.

Эксперты Rezilion подчеркивают, что при запуске нового проекта невозможно с уверенностью сказать, как он будет развиваться и поддерживаться. Большая часть проектов, быстро достигших вершины популярности, имеют низкий уровень защиты. Когда исследователи оценили соотношение возраста проектов и их рейтинга в Scorecard, они обнаружили, что наиболее часто встречаются проекты возрастом 2 месяца и с рейтингом 4,5–5 баллов из 10.