Инженерная команда компании Cloudflare смогла снизить стоимость работы инструмента для проверки программного кода на базе искусственного интеллекта на 68%, одновременно значительно ускорив время проверки. Этот сдвиг произошел после резкого роста затрат в предыдущие месяцы, когда средняя стоимость одной проверки подскочила с 1,19 доллара в апреле до примерно 2,46 доллара к концу августа без внесения существенных структурных изменений на начальном этапе.
Внутренний анализ, проведенный командой, показал, что рост затрат был вызван не только увеличением количества задач, но и переходом на использование более мощных и крупных моделей, таких как модели компании Anthropic, в частности, использованием модели Claude Opus 4.7 для проверки внутренних стандартов Codex. Этот переход привел к увеличению потребления токенов более чем в три раза, в результате чего среднее количество токенов на одну проверку достигло примерно 2,99 миллиона, что увеличило финансовую нагрузку, несмотря на повышение уровня использования кэширования запросов (Prompt Caching).
Что изменилось на практике для снижения затрат?
Компания разделила достигнутые улучшения и финансовую экономию на два основных аспекта:
- Около 40% от общего объема экономии было получено за счет прямых улучшений кода программиста и его обновления до версии OpenCode v2.
- Оставшаяся часть была достигнута за счет тестирования различных моделей искусственного интеллекта и балансировки уровней усилий, необходимых для каждой задачи проверки.
Перед полным внедрением второй версии компания подвергла систему строгим испытаниям, запустив ее параллельно с первой версией в теневом режиме (Shadow Mode), где она показала совпадение решений об одобрении на 98%, что позволило полностью перейти на новую версию, которая завершает полные проверки примерно на 13% быстрее.
Почему эта новость важна?
Это достижение подчеркивает экономические и операционные проблемы, с которыми сталкиваются организации при развертывании агентов искусственного интеллекта в крупномасштабных средах разработки программного обеспечения. Масштабирование использования больших языковых моделей потребляет огромное количество контекста и повторяющихся токенов при множественных вызовах в рамках одного сеанса. Путем реинжиниринга взаимодействия инструмента с моделями, а также оптимизации эффективности кэширования и маршрутизации задач, Cloudflare доказала, что оптимизация затрат и производительности может быть достигнута одновременно без ущерба для качества проверки программного кода.