Das Engineering-Team bei Cloudflare konnte die Betriebskosten für ein KI-gestütztes Code-Review-Tool um 68 % senken und gleichzeitig die Review-Zeit deutlich beschleunigen. Dieser Wandel folgte auf einen starken Kostenanstieg in den vorangegangenen Monaten, bei dem die durchschnittlichen Kosten pro Review von 1,19 US-Dollar im April auf etwa 2,46 US-Dollar Ende August gestiegen waren, ohne dass zunächst grundlegende strukturelle Änderungen vorgenommen wurden.
Interne Analysen des Teams ergaben, dass der Kostenanstieg nicht nur auf die Anzahl der Aufgaben zurückzuführen war, sondern auf den Wechsel zu leistungsfähigeren und größeren Modellen wie denen von Anthropic, insbesondere die Nutzung des Modells Claude Opus 4.7 für den internen Standard-Reviewer Codex. Dieser Wechsel führte dazu, dass sich der Token-Verbrauch mehr als verdreifachte und durchschnittlich etwa 2,99 Millionen Token pro Review erreichte, was die finanzielle Belastung trotz höherer Ausnutzung des Prompt-Cachings erhöhte.
Was hat sich praktisch geändert, um die Kosten zu senken?
Das Unternehmen unterteilte die erzielten Verbesserungen und die finanziellen Einsparungen in zwei Hauptbereiche:
- Etwa 40 % der Gesamteinsparungen resultierten aus direkten Verbesserungen am Code des Programmierers und dessen Aktualisierung auf die Version OpenCode v2.
- Der verbleibende Anteil wurde durch das Testen verschiedener KI-Modelle und das Ausbalancieren des erforderlichen Aufwands für jede Review-Aufgabe erzielt.
Vor der vollständigen Einführung der zweiten Version unterzog das Unternehmen das System strengen Tests, indem es parallel zur ersten Version in Shadow-Modus-Repositories betrieben wurde. Dabei zeigte sich eine Übereinstimmung bei den Genehmigungsentscheidungen von 98 %, was den vollständigen Übergang zur neuen Version ermöglichte, die vollständige Reviews etwa 13 % schneller abschließt.
Warum ist diese Nachricht wichtig?
Dieser Erfolg unterstreicht die wirtschaftlichen und operativen Herausforderungen, mit denen Unternehmen bei der Bereitstellung von KI-Agenten in groß angelegten Software-Produktionsumgebungen konfrontiert sind. Die Ausweitung der Nutzung großer Sprachmodelle verbraucht eine enorme Menge an Kontext und wiederkehrenden Token über mehrere Aufrufe innerhalb einer einzigen Sitzung hinweg. Durch die Neugestaltung der Interaktion des Tools mit den Modellen sowie die Optimierung der Caching-Effizienz und des Aufgaben-Routings hat Cloudflare bewiesen, dass Kosten- und Leistungsoptimierung Hand in Hand gehen können, ohne die Qualität der Code-Reviews zu beeinträchtigen.