OpenAI hat Details zur Entwicklung eines neuen Git-Back-End-Systems namens Pando enthüllt, das speziell zur Unterstützung des massiven zentralen Unternehmens-Repositorys (Monorepo) und zur Bewältigung des rasanten Wachstums von Code-Commits entwickelt wurde, die von den Entwicklern und KI-Agenten des Unternehmens generiert werden. Das Unternehmen gab an, dass die Zahl der vierteljährlichen Commits im Vergleich zum ersten Quartal 2024 um über 2.400 % gestiegen ist.
Das neue System hat die Latenz bei Push-Operationen um das Fünffache reduziert, während das System derzeit täglich fast ein Petabyte an Git-Daten verarbeitet. Während des zehntwöchigen Entwicklungsprozesses in Rust, bei dem ein Großteil des Codes von Codex-Agenten geschrieben wurde, beschloss OpenAI, die Kompatibilität mit dem Git-Standard beizubehalten, anstatt von Grund auf ein völlig neues Client-System und eine neue Softwarearchitektur zu entwickeln, wie es andere Unternehmen wie Anthropic getan haben.
Wie funktioniert das neue Pando-System?
Pando überwindet traditionelle Engpässe in Git-Servern, indem es zwei grundlegende Annahmen verwirft, die herkömmliche Server als zwingend erachten: Es hält nicht für alle Branches des Repositorys gleichzeitig einen konsistenten Zustand aufrecht und es erstellt bei Fetch-Vorgängen nicht für jeden Client individuell angepasste Packfiles.
- Wegfall der globalen Koordination: Das System behandelt jeden Branch unabhängig voneinander, wodurch verhindert wird, dass Pushes auf nicht zusammenhängende Branches auf Aktualisierungen anderer Branches warten müssen.
- Echtzeit-Validierung und Caching: Das System validiert Packfiles während des Streamings in den Cloud-Speicher, ohne sie lokal zu dekomprimieren, während ein Caching-Dienst namens Express die Pakete mit einer Erfolgsquote von über 99 % über das Netzwerk bereitstellt.
- Hintergrund-Kompaktierung (Compaction): Hintergrundserver führen kleine Pakete im Laufe der Zeit schrittweise zu größeren Paketen zusammen, ähnlich wie bei protokollstrukturierten Datenbanken.
Open-Source-Beiträge und Einschränkungen
Neben dem internen Pando-System war OpenAI gezwungen, mehrere Mängel im nativen Git-Client zu beheben, die sich auf das gleichnamige Laden von Paketen und die Wiederaufnahme unterbrochener Übertragungen bezogen. Einige dieser Fixes sowie andere Erweiterungen wie die parallele Indizierung wurden an das Open-Source-Projekt übermittelt, während das Pando-Back-End-System derzeit weiterhin Closed Source ist.