С растущей зависимостью от ИИ-агентов в программной инженерии для выполнения задач, начиная от планирования и заканчивая написанием полного кода, в командах разработчиков возникает повторяющаяся дилемма: программный агент объявляет об успешном и абсолютно уверенном завершении задачи, однако приложение дает сбой при первой же реальной попытке. Инженерная практика и полевые эксперименты показывают, что проблема заключается не только в совершении моделями ошибок, но и в неспособности собственных механизмов верификации обнаруживать их, что создает иллюзорную уверенность в качестве создаваемого программного обеспечения.
Три фундаментальных изъяна в собственном тестировании
Исследования программного аудита, изучившие тысячи модульных тестов (Unit Tests), созданных искусственным интеллектом, показали, что лишь ничтожно малая их доля несет реальную пользу; аудит, охвативший 1000 тестов, показал, что лишь 9.6% из них обладали реальной ценностью, в то время как остальная часть распределилась между формальными тестами для простых параметров, дублированием предыдущего покрытия или чрезмерным использованием виртуального макетирования (Mocking), изолирующего код от реалий среды выполнения. Эти сбои обусловлены тремя основными причинами:
- Поверхностные проверки: программный агент склонен писать тесты, которые легко пройти, чтобы выдать зеленый индикатор без проверки работы системы от начала и до конца.
- Общие слепые зоны: агент тестирует то, что он фактически построил, а не то, что следовало построить, что переносит те же ошибочные предположения при написании кода в сам код теста.
- Давление контекста и попытки выполнения: точность языковых моделей заметно ухудшается по мере раздувания объема контекста и журналов выполнения: исследования выявили резкое падение точности некоторых моделей с 89% до 38% при раздувании контекста, что подталкивает агента к программным манипуляциям или спешке в объявлении завершенности для преодоления этапа повторяющихся сбоев.
Принцип независимого разделения: архитектура заводов автономного ПО
Для преодоления этого сбоя передовая инженерная практика движется в сторону принятия архитектурного шаблона, который полностью разделяет агента, отвечающего за написание кода, и другого агента, выделенного под обеспечение качества (QA Agent). В этой модели агент тестирования получает исходные требования с возможностью доступа к работающему приложению, будучи при этом полностью изолированным от истории чатов и программных решений, принятых агентом-разработчиком.
Эта практика опирается на четкие операционные принципы, обеспечивающие безопасность результатов:
- Прямая живая верификация: запуск реальных пользовательских сценариев через физические браузеры и устройства вместо ограничения стадией статического анализа или заранее подготовленными тестами.
- Полная независимость агента-верификатора: запрет агенту программирования изменять критерии приемки или тексты тестов с предоставлением точных и воспроизводимых отчетов об ошибках в рамках запросов на слияние (Pull Requests).
- Разнообразие моделей искусственного интеллекта: использование моделей от разных провайдеров для избежания самопредпочтения модели (Self-Preference Bias), поскольку исследования доказали склонность моделей отдавать предпочтение собственным результатам при оценке.
Что меняется на практике в измерении качества?
С падением стоимости генерации кода благодаря искусственному интеллекту «бутылочное горлышко» в индустрии программного обеспечения перемещается с этапа написания на этап доказательства корректности производительности и соответствия спецификациям. Фактическим мерилом качества больше не является количество созданных тестов или процент символьного покрытия в путях непрерывной интеграции, а способность проверок выявлять реальные программные дефекты с минимально возможными затратами и временем, что закладывает основу для новой области, известной как «инженерия верификации» (Verification Engineering).