Cloudflare 엔지니어링 팀은 AI 기반 코드 리뷰 도구의 운영 비용을 68% 절감하는 동시에 리뷰 시간을 크게 단축했습니다. 이러한 변화는 이전 몇 달 동안 비용이 급격히 상승한 이후에 이루어졌으며, 구조적인 변경 없이도 리뷰당 평균 비용이 4월 1.19달러에서 8월 말 약 2.46달러까지 치솟았습니다.
팀이 수행한 내부 분석에 따르면, 비용 상승은 단순히 작업량 증가 때문만이 아니라 Anthropic의 모델과 같이 더 강력하고 큰 모델, 특히 내부 표준 Codex를 검토하기 위한 Claude Opus 4.7 모델 사용으로의 전환이 원인이었습니다. 이러한 전환으로 인해 토큰(Tokens) 소비량이 3배 이상 증가하여 리뷰당 평균 토큰 수가 약 299만 개에 달했으며, 프롬프트 캐싱(Prompt Caching) 활용도가 높아졌음에도 불구하고 재정적 부담이 가중되었습니다.
비용 절감을 위해 실제로 무엇이 바뀌었는가?
회사는 달성된 개선 및 비용 절감 비율을 두 가지 주요 측면으로 나누었습니다.
- 전체 절감액의 약 40%는 프로그래머 코드에 대한 직접적인 개선과 OpenCode v2 버전으로의 업데이트를 통해 이루어졌습니다.
- 나머지 비율은 다양한 AI 모델을 실험하고 각 리뷰 작업에 필요한 노력 수준을 조정함으로써 달성되었습니다.
v2 버전을 완전히 도입하기 전, 회사는 시스템을 섀도우 모드(Shadow Mode)에서 이전 버전과 병행 실행하여 엄격한 테스트를 거쳤습니다. 그 결과 승인 결정에서 98%의 일치율을 보였으며, 이를 통해 전체 리뷰를 약 13% 더 빠르게 완료하는 새 버전으로 완전히 전환할 수 있었습니다.
이 뉴스가 중요한 이유는 무엇인가?
이 성과는 기업이 대규모 소프트웨어 프로덕션 환경에 AI 에이전트를 배포할 때 직면하는 경제적 및 운영적 과제를 조명합니다. 거대 언어 모델을 확장하여 사용하면 단일 세션 내의 여러 호출에서 방대한 양의 컨텍스트와 중복 토큰이 소비됩니다. Cloudflare는 도구가 모델과 상호 작용하는 방식을 재설계하고 캐싱 효율성과 작업 라우팅을 최적화함으로써, 코드 리뷰의 품질을 희생하지 않고도 비용과 성능 최적화를 동시에 달성할 수 있음을 입증했습니다.