Насколько безопасен код от ChatGPT и Claude. Уязвимости, утечки и опасные рекомендации ИИ

431
Насколько безопасен код от ChatGPT и Claude. Уязвимости, утечки и опасные рекомендации ИИ

Нейросеть написала приложение, регистрация работает, данные сохраняются, автоматические тесты проходятся. Можно ли уже выкладывать проект в интернет? При обычном использовании программы трудно заметить некоторые уязвимости, особенно если разработчик не имеет опыта в информационной безопасности.

С появлением ИИ-агентов задача стала ещё сложнее. Codex, Claude Code и Cursor могут самостоятельно устанавливать библиотеки, читать файлы и выполнять команды в терминале. Поэтому проверять приходится и сгенерированный код, и действия самого помощника. Разберёмся, какие риски возникают при программировании с ИИ и как защитить свой проект.

Насколько безопасен код, написанный нейросетью: результаты исследований

Языковые модели способны генерировать синтаксически правильный код, использовать современные библиотеки и находить некоторые уязвимости. Однако программа может выполнять все заявленные функции и при этом содержать серьёзные недостатки безопасности.

В осеннем исследовании Veracode за 2026 год специалисты протестировали 18 моделей на четырёх языках программирования: Python, JavaScript, Java и C#.

Средний показатель успешного прохождения проверок безопасности вырос с 56% летом до 62% осенью. Лучшие результаты среди протестированных моделей показали разработки Anthropic и OpenAI, набравшие по 73%. Таким образом, даже лидеры не справились более чем с четвертью заданий.

Однако эти цифры нельзя напрямую переносить на все приложения, созданные с помощью ChatGPT или Claude. Исследование охватывает четыре конкретных класса уязвимостей: SQL-инъекции, использование небезопасных криптографических алгоритмов, межсайтовый скриптинг и недостаточную нейтрализацию специальных элементов при записи данных в журналы событий.

При разработке с ИИ необходимо учитывать две категории рисков:

  • Уязвимости приложения. Ошибки контроля доступа, неправильная обработка пользовательских данных, небезопасное хранение паролей и другие недостатки реализации.
  • Риски процесса разработки. Выполнение опасных команд, установка вредоносных зависимостей, раскрытие конфиденциальных данных и манипулирование поведением ИИ-агента.

Особенно высока вероятность пропустить подобные проблемы при вайб-кодинге, когда пользователь принимает предложенные нейросетью изменения, практически не изучая исходный код.

Насколько безопасен код от ChatGPT и Claude. Уязвимости, утечки и опасные рекомендации ИИ

Какие уязвимости искать в коде от ChatGPT и Claude

Большинство потенциальных проблем давно знакомы специалистам по информационной безопасности. Многие из них представлены в OWASP Top 10:2025, перечне основных рисков безопасности веб-приложений.

SQL-инъекции

SQL-инъекция, или внедрение SQL-кода, возникает при неправильной обработке данных, включаемых в запрос к базе данных. Злоумышленник может изменить смысл запроса и при определённых условиях получить доступ к закрытой информации, изменить или удалить записи.

Например, для поиска пользователя в базе SQLite нейросеть может предложить следующий код на Python:

query = f"SELECT * FROM users WHERE email = '{email}'"
 cursor.execute(query)

Значение переменной email напрямую подставляется в текст SQL-запроса. При вводе обычного адреса электронной почты функция будет работать корректно, поэтому поверхностное тестирование может не выявить уязвимость.

Для защиты следует использовать параметризованные запросы:

cursor.execute(
     "SELECT * FROM users WHERE email = ?",
     (email,)
 )

Значение передаётся драйверу базы данных отдельно от SQL-команды. Синтаксис параметров зависит от используемой библиотеки. Подробности приведены в рекомендациях OWASP.

Насколько безопасен код от ChatGPT и Claude. Уязвимости, утечки и опасные рекомендации ИИ

Межсайтовый скриптинг (XSS)

Межсайтовый скриптинг позволяет внедрить вредоносный сценарий, который выполняется в браузере пользователя. Уязвимость может возникнуть при неправильном отображении комментариев, сообщений, имён пользователей и других данных.

Допустим, ИИ предлагает вывести комментарий через JavaScript:

element.innerHTML = userComment;

Если содержимое комментария контролирует посторонний человек, такая конструкция без соответствующей обработки данных может создать уязвимость.

Для отображения обычного текста следует использовать:

element.textContent = userComment;

Если приложение должно поддерживать пользовательскую HTML-разметку, необходима её очистка от потенциально опасных элементов и атрибутов. Для этого существуют специализированные библиотеки, например DOMPurify. Конкретный способ защиты зависит от контекста, в котором используются данные.

Нарушение контроля доступа и ошибки авторизации

Аутентификация подтверждает личность пользователя, а авторизация определяет, какие действия ему разрешено выполнять.

Представим приложение для хранения документов. Пользователь входит в личный кабинет и запрашивает документ по его идентификатору. Сервер проверяет, что пользователь прошёл аутентификацию, но забывает проверить его право на просмотр запрошенного документа.

Такая уязвимость может относиться к категории небезопасных прямых ссылок на объекты (IDOR). При её наличии пользователь способен получить доступ к чужим данным.

Скрытие кнопки удаления или ссылки на административную страницу в пользовательском интерфейсе тоже не обеспечивает защиту. Проверка полномочий должна выполняться на сервере при каждом запросе к защищённому ресурсу.

Небезопасное хранение паролей и неправильные настройки защиты

При создании прототипов нейросети могут предлагать упрощённые решения, которые впоследствии случайно попадают в готовое приложение.

Опасное решение Возможные последствия Способ защиты
Хранение паролей в открытом виде Раскрытие паролей при утечке базы данных Использовать специализированный алгоритм хеширования, например Argon2id
Отключение проверки TLS-сертификатов Перехват или подмена передаваемых данных Исправить конфигурацию сертификатов
Избыточные права доступа к базе данных Несанкционированное чтение или изменение записей Предоставлять только необходимые полномочия
Использование устаревших криптографических алгоритмов Недостаточная защищённость данных Использовать современные алгоритмы и проверенные библиотеки
Отображение подробных сообщений об ошибках на сайте Раскрытие внутреннего устройства приложения Хранить технические подробности в защищённых журналах

Особенно внимательно относитесь к советам ИИ отключить защитную функцию ради устранения ошибки. Если запрос не выполняется из-за проверки сертификата или недостаточных полномочий, сначала необходимо выяснить причину сбоя.

Опасные зависимости и утечки секретов при вайб-кодинге

Нейросеть может предложить установить устаревшую библиотеку, выбрать пакет с известной уязвимостью или придумать название зависимости, которой вообще не существует.

Последняя проблема изучалась в исследовании, представленном на конференции USENIX Security 2025. Авторы проанализировали 576 000 образцов кода, созданных 16 языковыми моделями.

Средняя доля вымышленных пакетов составила не менее 5,2% для протестированных коммерческих моделей и 21,7% для моделей, отнесённых авторами исследования к открытым.

Злоумышленники могут воспользоваться такими ошибками и зарегистрировать вредоносные пакеты под названиями, которые нейросети ошибочно рекомендуют разработчикам. Подобные атаки относятся к угрозам безопасности цепочки поставок программного обеспечения.

Перед установкой новой зависимости необходимо:

  1. Проверить существование пакета в официальном реестре, например npm или PyPI.
  2. Сверить его название с документацией разработчика библиотеки.
  3. Изучить происхождение пакета, сведения об издателе и историю обновлений.
  4. Проверить наличие известных уязвимостей.
  5. Убедиться, что новая зависимость действительно необходима проекту.

Для поиска известных уязвимостей в зависимостях JavaScript-проектов существует команда npm audit, а для Python предусмотрен инструмент pip-audit. Отсутствие предупреждений при такой проверке не гарантирует безопасность библиотеки.

Как секреты попадают в исходный код и контекст нейросети

Секретами в разработке называют данные, предоставляющие доступ к защищённым ресурсам. Это ключи API, пароли баз данных, токены доступа, закрытые криптографические ключи и другие учётные данные.

При программировании с ИИ возможны следующие ситуации:

  • Разработчик отправляет нейросети настоящий ключ API вместе с сообщением об ошибке.
  • ИИ-агент читает файл .env с рабочими учётными данными и передаёт его содержимое модели.
  • Секретный ключ оказывается в клиентском JavaScript-коде, доступном посетителям сайта.
  • Конфиденциальные сведения сохраняются в журналах событий или истории Git.

Серверные секреты следует хранить в системе управления секретами либо передавать приложению через защищённую конфигурацию. Файлы с локальными учётными данными необходимо исключать из репозитория.

При этом добавление .env в .gitignore не запрещает ИИ-агенту читать файл. Для этого нужны отдельные ограничения доступа или изоляция рабочей среды.

Если действующий ключ уже был опубликован или передан за пределы доверенной среды, его необходимо отозвать и выпустить новый. Удаления ключа из исходного кода недостаточно.

Что такое инъекция промптов и чем опасны чужие репозитории

Инъекция промптов (prompt injection) представляет собой атаку на языковую модель, при которой злоумышленник пытается с помощью специально подготовленных инструкций изменить её поведение.

При работе с ИИ-агентами такие инструкции могут находиться непосредственно в файлах проекта. Агент изучает документацию, комментарии и конфигурацию приложения, поэтому вредоносные указания способны попасть в контекст модели без ведома пользователя.

Этот способ атаки называют косвенной инъекцией промптов (indirect prompt injection). Он рассматривается в перечне рисков OWASP для приложений на основе больших языковых моделей.

Представим, что разработчик скачал незнакомый репозиторий с GitHub и попросил Claude Code разобраться в проекте. В документации содержится указание запустить сторонний скрипт, якобы необходимый для настройки среды разработки.

Если агент выполнит указание, вредоносный скрипт может получить доступ к файлам, изменить исходный код или передать данные через интернет. Возможные последствия зависят от разрешений и степени изоляции рабочей среды.

Источниками косвенных инъекций промптов могут быть:

  • файлы README.md и другая документация;
  • комментарии в исходном коде;
  • описания задач и обсуждения запросов на слияние изменений (pull request);
  • вывод команд терминала и журналы ошибок;
  • веб-страницы, которые агент открывает при поиске информации;
  • ответы подключённых инструментов и MCP-серверов.

Протокол MCP используется для подключения ИИ-приложений к внешним инструментам и источникам данных. Такие подключения также требуют проверки полномочий и доверенности источников.

Особого внимания заслуживают файлы инструкций для ИИ-агентов: AGENTS.md, CLAUDE.md и правила в .cursor/rules/. Они предназначены для управления поведением помощника, поэтому при работе с чужими проектами их содержимое необходимо изучать заранее.

В руководстве OWASP по безопасному программированию с ИИ рассматриваются инъекции промптов через репозитории, подмена инструкций агента и другие угрозы процесса разработки.

Одной текстовой инструкции с запретом выполнять подозрительные команды недостаточно. Защита должна предусматривать технические ограничения, которые действуют независимо от решений языковой модели.

Как безопасно предоставить ИИ-агенту доступ к терминалу, файлам и интернету

ИИ-агент с доступом к терминалу может выполнять команды в пределах предоставленных ему полномочий. Если рабочая среда содержит личные документы, корпоративные учётные данные и доступ к внутренним сервисам, последствия ошибки могут оказаться серьёзными.

Для ограничения возможностей агента применяют песочницу (sandbox), то есть изолированную среду с контролируемым доступом к системным ресурсам.

В Codex предусмотрены механизмы изоляции и согласования действий. Claude Code также поддерживает настройки разрешений и изоляцию командной оболочки. Возможности защиты зависят от операционной системы, версии инструмента и выбранной конфигурации.

При настройке следует придерживаться принципа наименьших привилегий. Агент должен получать только те полномочия, которые необходимы для текущей задачи.

Ресурс Рекомендуемые ограничения
Файловая система Доступ только к необходимым каталогам и файлам проекта
Терминал Изолированное выполнение команд, подтверждение опасных действий
Интернет Ограничение сетевого доступа и разрешённых направлений передачи данных
База данных Отдельная тестовая база с искусственными или обезличенными данными
Git Работа в отдельных ветках, проверка изменений перед слиянием
Рабочие серверы Отсутствие прямого доступа к промышленной среде без отдельного согласования

Запрос на подтверждение команды и техническая изоляция выполняют разные задачи. Даже разрешённая пользователем команда может иметь опасные последствия, если выполняется без ограничений.

Для исследования недоверенных репозиториев желательно использовать отдельную виртуальную машину или правильно изолированный контейнер без рабочих учётных данных. Перед запуском проекта проверяйте скрипты установки зависимостей, автоматические обработчики событий (hooks), настройки ИИ-агента и подключённые инструменты.

Как проверить код нейросети на уязвимости перед публикацией

Проверка безопасности должна охватывать исходный код, зависимости, конфигурацию и поведение работающего приложения. Для этого существуют специализированные инструменты.

Метод проверки Инструменты Что помогает обнаружить
Статический анализ безопасности (SAST) Semgrep, CodeQL Потенциально уязвимые конструкции исходного кода
Анализ состава программного обеспечения (SCA) npm audit, pip-audit Известные уязвимости сторонних компонентов
Поиск секретов Gitleaks, TruffleHog Ключи, токены и другие конфиденциальные данные
Динамический анализ безопасности (DAST) ZAP Уязвимости работающего веб-приложения

Перед публикацией проекта выполните несколько последовательных проверок:

  1. Просмотрите изменения через Git. Убедитесь, что агент не отключил защитные механизмы и не изменил правила доступа без согласования.
  2. Выполните статический анализ исходного кода.
  3. Проверьте сторонние зависимости и наличие секретов в репозитории.
  4. Добавьте тесты безопасности, включая попытки доступа к чужим записям и выполнения операций без необходимых полномочий.
  5. Проведите динамическое тестирование в собственной тестовой среде.
  6. Проверьте настройки развёртывания, доступность административных интерфейсов и конфигурацию базы данных.

Саму нейросеть тоже можно привлечь к проверке исходников. Для этого полезно открыть отдельную сессию и поручить ей анализ уже готового кода.

Насколько безопасен код от ChatGPT и Claude. Уязвимости, утечки и опасные рекомендации ИИ

Пример промпта для проверки безопасности кода:

Проведи аудит безопасности проекта без изменения исходного кода. Проверь обработку входных данных, SQL-инъекции, XSS, аутентификацию, авторизацию, управление сеансами пользователей, хранение секретов и сторонние зависимости.

Для каждой обнаруженной проблемы укажи файл, номер строки, условия возникновения уязвимости, возможные последствия и рекомендуемое исправление. Отделяй подтверждённые проблемы от предположений.

Не отключай защитные механизмы, не устанавливай зависимости и не передавай исходный код сторонним сервисам. Если для подтверждения проблемы необходим дополнительный тест, опиши его.

Результаты такого анализа необходимо проверять. Нейросеть может ошибочно объявить безопасный код уязвимым или пропустить проблему, для обнаружения которой требуется изучить взаимодействие нескольких компонентов приложения.

Для проектов, обрабатывающих платежи, персональные данные и корпоративную информацию, желательно предусмотреть независимый аудит безопасности. Ни автоматические анализаторы, ни языковые модели не гарантируют обнаружения всех уязвимостей.

Вопросы и ответы

Безопасно ли использовать код, написанный ChatGPT или Claude?

Такой код можно использовать после проверки. Он способен содержать уязвимости даже при успешном выполнении основных функций приложения. Объём необходимых проверок зависит от назначения программы и обрабатываемых данных.

Какая нейросеть пишет самый безопасный код?

Универсального лидера нет. Результаты зависят от версии модели, языка программирования, категории уязвимостей и методики тестирования. Ни одна нейросеть не гарантирует создание полностью защищённого приложения.

Что такое инъекция промптов в ИИ-агентах для программирования?

Инъекция промптов представляет собой попытку изменить поведение ИИ-агента с помощью специально подготовленных инструкций. При косвенной атаке такие инструкции могут содержаться в документации проекта, исходном коде или ответах внешних инструментов.

Может ли ИИ-агент раскрыть конфиденциальные файлы проекта?

Да, если ему предоставлен доступ к этим файлам и средствам передачи данных. Причиной раскрытия могут стать инъекция промптов, вредоносная зависимость или ошибочное действие агента. Для защиты необходимы ограничения полномочий и изоляция среды.

Можно ли давать Claude Code или Codex полный доступ к терминалу?

Неограниченный доступ повышает риск повреждения файлов, раскрытия учётных данных и выполнения опасных команд. Предпочтительнее использовать песочницу и предоставлять дополнительные разрешения только при необходимости.

Какими программами проверять код нейросети на уязвимости?

Для статического анализа подходят Semgrep и CodeQL, для проверки зависимостей можно использовать npm audit и pip-audit, для поиска секретов Gitleaks, для динамического тестирования веб-приложений ZAP.

Можно ли использовать вайб-кодинг для коммерческих приложений?

Можно, если разработка сопровождается контролем архитектуры, проверкой исходного кода, тестированием и оценкой безопасности. Особенно строгие требования необходимы для приложений, работающих с платежами и конфиденциальной информацией.


ИИ вайб-кодинг ChatGPT Claude
Alt text
Обращаем внимание, что все материалы в этом блоге представляют личное мнение их авторов. Редакция SecurityLab.ru не несет ответственности за точность, полноту и достоверность опубликованных данных. Вся информация предоставлена «как есть» и может не соответствовать официальной позиции компании.
1.12 кибердом · 1 декабря 2026 г. · 10:00КиберсъездОдин день, чтобы понять, куда движется индустрия Зарегистрироваться

Bitbox

Обзоры гаджетов и трендов, которые экономят время и деньги.