Как проверять код, написанный нейросетью. Тесты, ревью и поиск скрытых ошибок

126
Как проверять код, написанный нейросетью. Тесты, ревью и поиск скрытых ошибок

ChatGPT написал приложение, вы его запустили, нажали несколько кнопок и убедились, что всё работает. Можно двигаться дальше? Вполне возможно, что уже завтра обнаружится неприятная мелочь: калькулятор неправильно округляет суммы, интернет-магазин ошибается со скидками, а форма регистрации пропускает недопустимые значения. При этом никаких сообщений об ошибках программа не показывает.

Проблема в том, что нейросеть умеет писать вполне убедительный код, который иногда неверно выполняет поставленную задачу. Поэтому готовую программу полезно проверять с нескольких сторон. Разберёмся, как поручить ИИ создание тестов, проверить его работу независимо и найти проблемы до того, как с ними столкнутся пользователи.

Почему код без ошибок ещё может работать неправильно

Начнём с небольшого примера. В интернет-магазине бесплатная доставка действует при заказе от 3000 рублей. Вы просите нейросеть написать функцию расчёта, и получаете такой Python-код:

def delivery_fee(total):
     return 0 if total > 3000 else 299

На первый взгляд всё нормально. Для заказа на 4000 рублей функция возвращает ноль, для заказа на 1000 рублей добавляет 299 рублей за доставку. Программа запускается, Python не выдаёт ошибок.

Но при заказе ровно на 3000 рублей доставка окажется платной. Нейросеть использовала оператор >, хотя по условиям магазина нужен >=.

Подобные ошибки трудно обнаружить простым просмотром приложения. Здесь помогают два подхода.

  • Тестирование. Программу запускают с заранее выбранными данными и проверяют, совпадает ли результат с ожидаемым.
  • Code review, или ревью кода. Разработчик либо специальный инструмент изучает реализацию, ищет сомнительные решения, проблемы безопасности и места, которые будет сложно поддерживать.

При этом важно понимать, откуда берётся правильный ответ. Если попросить ИИ самостоятельно придумать условия задачи, написать по ним программу и затем проверить собственное решение, модель может повторить одну и ту же ошибку несколько раз.

Поэтому лучше опираться на заранее подготовленные требования. Например, правило бесплатной доставки от 3000 рублей должно быть известно ещё до написания функции.

Какие тесты нужны для проверки кода ИИ

Тесты бывают разными. Одни проверяют отдельные вычисления, другие смотрят, как взаимодействуют части приложения, а третьи повторяют действия обычного пользователя.

Какие тесты нужны для проверки кода ИИ: сравнение модульного, интеграционного, сквозного и граничного тестирования с примерами.

Необязательно сразу осваивать сложную систему автоматизации. Для небольшого проекта достаточно начать с нескольких важных сценариев.

Вид тестирования Что проверяет Пример
Модульные тесты (unit tests) Отдельную функцию или компонент Правильно ли считается стоимость доставки
Интеграционные тесты Совместную работу нескольких частей программы Сохраняется ли заказ в базе после обращения к API
Сквозные тесты (end-to-end) Полный пользовательский сценарий Можно ли добавить товар в корзину и оформить заказ
Граничные проверки Поведение на крайних и недопустимых значениях Что произойдёт при заказе на 2999, 3000 и 3001 рубль

Модульные тесты особенно полезны для расчётов, проверки данных, сортировки и других функций с понятным результатом. Для Python часто используют pytest, для JavaScript подходят Vitest или Jest.

Интеграционные тесты пригодятся, когда приложение общается с сервером или базой данных. Допустим, форма успешно отправляет информацию, но сервер сохраняет её не в том формате. Отдельные функции могут проходить тесты, а вся операция всё равно завершаться неправильно.

Сквозные тесты воспроизводят действия человека. Например, инструмент Playwright может открыть страницу в браузере, заполнить форму, нажать кнопку и проверить появившееся сообщение.

Граничные проверки стоит добавлять везде, где есть ограничения. Особенно при работе с деньгами, датами, количеством товаров, длиной текста и правами доступа. Для скидки с порогом в 3000 рублей гораздо полезнее проверить 2999, 3000 и 3001 рубль, чем три случайные суммы.

Для первого проекта хватит модульных тестов основных правил и нескольких проверок взаимодействия с сервером. Полные пользовательские сценарии стоит автоматизировать по мере развития приложения.

Как попросить ChatGPT написать тесты и использовать TDD

Предположим, вы хотите проверить функцию расчёта доставки из нашего примера. Можно отправить нейросети код и попросить протестировать его. Но я бы начала с описания правил, по которым функция должна работать.

Например, такой запрос:

Напиши тесты pytest для функции delivery_fee(total).

При сумме заказа меньше 3000 рублей доставка стоит 299 рублей. Начиная с 3000 рублей доставка бесплатная. Сумма передаётся целым числом рублей. Отрицательное значение должно вызывать ValueError.

Проверь обычные суммы, границу бесплатной доставки и недопустимое значение. Пока не меняй саму функцию.

В результате можно получить следующие проверки:

import pytest
 from shipping import delivery_fee
 
 @pytest.mark.parametrize(
     "total, expected",
     [
         (0, 299),
         (2999, 299),
         (3000, 0),
         (4500, 0),
     ]
 )
 def test_delivery_fee(total, expected):
     assert delivery_fee(total) == expected
 
 def test_negative_total():
     with pytest.raises(ValueError):
         delivery_fee(-1)

Здесь pytest.mark.parametrize позволяет запустить одну проверку с разными значениями. Функция проверяется при обычной сумме, на границе бесплатной доставки и при неправильном вводе.

Сохраните первоначальную функцию в файле shipping.py, а тесты в test_shipping.py. После установки pytest можно выполнить:

python -m pytest -q

Проверки обнаружат две проблемы: доставка остаётся платной при сумме ровно 3000 рублей, а отрицательное значение не вызывает ожидаемое исключение.

Исправленная функция может выглядеть так:

def delivery_fee(total):
     if total < 0:
         raise ValueError("Negative order total")
 
     return 0 if total >= 3000 else 299

Теперь все приведённые тесты должны проходить.

А можно сначала писать тесты, а уже потом программу? Да, и для работы с нейросетью такой подход особенно интересен. Его называют TDD (Test-Driven Development), или разработкой через тестирование.

Работа строится следующим образом:

  1. Сначала определяем правильный результат. Например, как функция должна обрабатывать обычные, граничные и ошибочные значения. По требованиям пишем тесты.
  2. Затем создаём код. Поручаем нейросети написать минимальную реализацию, которая проходит подготовленные проверки.
  3. После этого улучшаем решение. Если код получился запутанным или содержит повторы, его можно переработать, сохранив поведение и успешное прохождение тестов.

У такого подхода есть полезное преимущество. Когда нейросеть предлагает очередное изменение, у вас уже есть набор проверок, показывающих, не нарушились ли согласованные правила.

Но тесты тоже могут быть неправильными. Просматривайте ожидаемые значения и условия, особенно если их предложила сама модель. Важные расчёты желательно сверять с независимым источником, а не с объяснением ИИ.

Как проводить code review с нейросетью и проверять безопасность

Допустим, все тесты прошли. Значит ли это, что код хорошо написан? Необязательно. В проекте могут остаться повторяющиеся функции, ненужные библиотеки или небезопасная обработка пользовательских данных.

Здесь пригодится ревью. Например, GitHub Copilot умеет анализировать изменения в pull request, то есть запросе на добавление кода в основную ветку проекта, и оставлять замечания.

В обычном ChatGPT можно использовать такой запрос:

Проверь этот код перед публикацией.

Обрати внимание на правильность вычислений, обработку пользовательского ввода, возможные уязвимости, дублирование функций и ненужные зависимости.

Для каждой найденной проблемы укажи конкретное место в коде, объясни возможные последствия и предложи проверку. Отделяй подтверждённые ошибки от предположений. Пока ничего не переписывай.

Лучше проверять небольшие изменения, а не отправлять на ревью сразу весь проект из сотен файлов. Так проще понять, какие замечания относятся к новым функциям.

При этом ИИ не обязательно заметит все проблемы. Для дополнительной проверки полезны инструменты, которые анализируют исходный код по определённым правилам.

Статический анализ позволяет искать некоторые ошибки без запуска программы. Например, для Python есть Ruff. После установки его можно запустить в папке проекта:

ruff check .

Инструмент проверит Python-файлы по включённым правилам и сообщит о найденных проблемах. Но он не узнает, что бесплатная доставка должна начинаться именно с 3000 рублей. Такие условия необходимо проверять тестами.

Для анализа потенциальных уязвимостей существует CodeQL. Он умеет обнаруживать определённые опасные конструкции и потоки данных в поддерживаемых языках программирования.

Отдельно стоит проверить сторонние библиотеки. Нейросеть может добавить устаревший пакет или предложить зависимость с известной уязвимостью.

В проектах на JavaScript с npm для этого предусмотрена команда:

npm audit

Для Python можно установить pip-audit и выполнить:

pip-audit

Эти инструменты сопоставляют зависимости с доступными данными об известных уязвимостях. Если появилось предупреждение, проверьте затронутую версию и условия эксплуатации. Не стоит автоматически обновлять все пакеты без последующего тестирования.

Ещё один полезный инструмент для проектов на GitHub, Dependabot alerts. Он может предупреждать об известных уязвимостях в зависимостях репозитория.

И помните, что сам по себе успешный статический анализ не подтверждает безопасность программы. Например, ошибки в правах доступа или бизнес-логике могут требовать отдельных проверок.

Как организовать проверку кода ИИ перед публикацией

Когда приложение уже готово, полезно собрать все проверки в один повторяемый процесс. Тогда после добавления новой функции не придётся каждый раз вспоминать, какие действия выполнить.

Для небольшого проекта можно использовать следующий порядок:

  1. Сверьте функции с требованиями. Проверьте, что приложение делает именно то, что было задумано. Для каждой важной функции должны быть понятны входные данные и правильный результат.
  2. Запустите автоматические тесты. Проверьте вычисления, граничные условия и взаимодействие модулей. Если часть тестов не проходит, выясните причину до публикации.
  3. Проведите ревью изменений. Попросите ИИ проанализировать код, затем самостоятельно просмотрите наиболее важные замечания. Для критичных частей полезна проверка другим разработчиком.
  4. Проверьте зависимости и безопасность. Используйте подходящие инструменты статического анализа и аудит библиотек.
  5. Пройдите основные пользовательские сценарии. Например, создайте запись, сохраните её, обновите страницу и убедитесь, что информация осталась на месте. Проверяйте приложение в той среде, для которой оно предназначено.
  6. Сохраните проверенную версию. Зафиксируйте код через Git и запишите результаты выполненных проверок.

Чтобы не запускать всё вручную после каждого изменения, можно подключить CI (Continuous Integration), или непрерывную интеграцию. Например, GitHub Actions позволяет автоматически выполнять тесты Python после отправки нового кода в репозиторий.

Если разработчик случайно нарушит уже проверенное поведение, соответствующий тест может обнаружить проблему ещё до включения изменений в основную версию.

Однако здесь есть ограничение. Автоматизация проверяет только предусмотренные условия. Если никто не добавил тест на неправомерный доступ к чужому заказу, успешное завершение сборки ничего не говорит о наличии такой уязвимости.

Поэтому для приложений с личными кабинетами, оплатой и конфиденциальными данными нужно отдельно проверять, кто и какие действия может выполнять. Например, может ли пользователь открыть чужую запись, изменить стоимость заказа или получить данные без необходимых разрешений.

В рекомендациях OWASP по безопасной разработке с ИИ подчёркивается необходимость самостоятельной проверки сгенерированного кода и контроля используемых зависимостей.

Для личного учебного проекта достаточно начать с небольшого набора тестов и простого ревью. По мере роста приложения проверки можно расширять. Главное, чтобы у каждой важной функции были понятные требования, а качество программы оценивалось по реальным результатам её работы.

Вопросы и ответы

Как проверить код, написанный ChatGPT?

Сравните код с исходными требованиями, подготовьте тесты для основных функций и граничных значений. Затем проверьте взаимодействие модулей, выполните code review и запустите подходящие инструменты статического анализа.

Может ли ChatGPT самостоятельно проверить свой код?

Да, ChatGPT может анализировать код и создавать тесты. Однако модель способна повторить собственные ошибки в проверках. Поэтому ожидаемые результаты лучше определять заранее и подтверждать реальным запуском программы.

Какие тесты нужны для приложения, созданного нейросетью?

Обычно начинают с модульных тестов основных функций и граничных значений. Для работы с сервером и базой добавляют интеграционные тесты, а для важных пользовательских действий можно использовать сквозные проверки.

Что такое TDD при программировании с ИИ?

TDD означает разработку через тестирование. Сначала создают проверку ожидаемого поведения, затем пишут код, который её проходит. После этого реализацию можно улучшать, сохраняя успешные результаты тестов.

Какую нейросеть использовать для code review?

ChatGPT и другие языковые модели могут анализировать фрагменты кода и объяснять потенциальные проблемы. GitHub Copilot поддерживает автоматическое ревью изменений в pull request. Для дополнительных проверок используют статические анализаторы, например Ruff и CodeQL.

Как автоматически проверять код после каждого изменения?

Настройте тесты и автоматический запуск через CI, например GitHub Actions. После отправки изменений система сможет выполнять проверки и сообщать о сбоях. Для анализа безопасности и зависимостей подключают дополнительные инструменты.


ИИ код программирование
Alt text
Обращаем внимание, что все материалы в этом блоге представляют личное мнение их авторов. Редакция SecurityLab.ru не несет ответственности за точность, полноту и достоверность опубликованных данных. Вся информация предоставлена «как есть» и может не соответствовать официальной позиции компании.

Bitbox

Обзоры гаджетов и трендов, которые экономят время и деньги.