El equipo de ingeniería de Cloudflare logró reducir el costo de operación de su herramienta de revisión de código basada en inteligencia artificial en un 68%, al mismo tiempo que aceleró significativamente el tiempo de revisión. Esta transformación se produjo tras un fuerte aumento en los costos durante los meses anteriores, donde el costo promedio por revisión saltó de 1.19 dólares en abril a cerca de 2.46 dólares a finales de agosto, sin haber realizado cambios estructurales fundamentales al principio.
Los análisis internos realizados por el equipo aclararon que el aumento de los costos no se debía únicamente al volumen de tareas, sino al cambio hacia el uso de modelos más capaces y grandes, como los de la empresa Anthropic, específicamente el uso del modelo Claude Opus 4.7 para revisar los estándares internos Codex. Este cambio provocó que el consumo de tokens se triplicara, alcanzando un promedio de 2.99 millones de tokens por revisión, lo que aumentó la carga financiera a pesar de las altas tasas de aprovechamiento de la caché de solicitudes (Prompt Caching).
¿Qué cambió prácticamente para reducir los costos?
La empresa dividió el porcentaje de mejoras logradas y el ahorro financiero en dos aspectos principales:
- Alrededor del 40% del ahorro total provino de mejoras directas en el código del programador y su actualización a la segunda versión, OpenCode v2.
- El porcentaje restante se logró mediante la experimentación con diferentes modelos de inteligencia artificial y el equilibrio de los niveles de esfuerzo requeridos para cada tarea de revisión.
Antes de adoptar completamente la segunda versión, la empresa sometió al sistema a pruebas rigurosas ejecutándolo junto con la primera versión en repositorios en modo sombra (Shadow Mode), donde mostró una coincidencia en las decisiones de aprobación del 98%, lo que permitió la transición completa a la nueva versión que finaliza las revisiones completas un 13% más rápido.
¿Por qué es importante esta noticia?
Este logro destaca los desafíos económicos y operativos que enfrentan las organizaciones al implementar agentes de inteligencia artificial en entornos de producción de software a gran escala. La expansión en el uso de modelos de lenguaje masivos consume una enorme cantidad de contexto y tokens repetitivos a través de múltiples llamadas dentro de una misma sesión. Al rediseñar la forma en que la herramienta interactúa con los modelos y mejorar la eficiencia del almacenamiento en caché y el enrutamiento de tareas, Cloudflare demostró que la optimización de costos y rendimiento puede lograrse simultáneamente sin sacrificar la calidad de la revisión de código.