Die Plattform GitHub hat offiziell ihre neue Infrastruktur zur Speicherung des Git-Versionskontrollsystems angekündigt, die speziell darauf ausgelegt ist, Tausende von Schreibvorgängen pro Sekunde zu bewältigen und gleichzeitig skalierbare Lesezugriffe bereitzustellen. Interne Tests haben gezeigt, dass die neue Architektur in der Lage ist, 5.000 KI-Agenten zu unterstützen, die gleichzeitig an einem einzigen Repository arbeiten, wobei 7.200 Pushes pro Sekunde gesendet werden, während eine niedrige und konstante Latenzzeit für Leseanfragen beibehalten wird.
Dieser Schritt erfolgt als Reaktion auf den radikalen Wandel, den Software-Agenten im vergangenen Jahr in der Art und Weise bewirkt haben, wie an hochfrequentierten Repositories gearbeitet wird. Die neue Architektur basiert auf zwei Grundprinzipien: der Reduzierung der Koordination zwischen den Komponenten und der Trennung von Speicher und Rechenleistung durch die Nutzung des Azure Blob Storage Objektspeicherdienstes sowie eines speziellen Konsensdienstes für Referenzen namens Ref-CAS.
Was ändert sich in der Praxis?
In der vorherigen traditionellen Architektur waren Speicherprozesse, Anfragedienste und die Wartung von Repositories eng miteinander und lokal verknüpft. Die neue Architektur hingegen trennt den Referenzstatus von den Objektdaten, wobei Git-Pakete und Lese-Beschleuniger im Cloud-Speicher abgelegt werden, während der Ref-CAS-Dienst die Verwaltung und Aktualisierung der Repository-Referenzen über einen Compare-and-Swap-Mechanismus übernimmt, der durch ein Quorum an Replikaten unterstützt wird.
Zudem wurden Wartungs-, Kompaktierungs- (Compaction) und Größenreduzierungsprozesse von den Knoten getrennt, die den täglichen Datenverkehr bedienen. Unabhängige Kompaktierungsknoten arbeiten im Hintergrund direkt gegen den Cloud-Speicher, um Pakete zusammenzuführen und ungenutzte Objekte zu entfernen, ohne die Ressourcen der für Benutzer vorgesehenen Knoten zu verbrauchen.
Warum ist diese Nachricht wichtig?
Diese Entwicklung stellt das technische Fundament dar, um die GitHub-Plattform in die Lage zu versetzen, das Zeitalter der KI-Agenten-gestützten Entwicklung für Hunderte Millionen von Entwicklern zu unterstützen. Da sich KI-Tools und autonome Agenten dazu entwickeln, rund um die Uhr zu arbeiten, sind Repositories mit enormen Raten an gleichzeitigen Aktualisierungen und damit verbundenen Anfragen konfrontiert, wie etwa dem Ausführen von Continuous-Integration-Systemen und Code-Tests. Die neue Architektur gewährleistet die Stabilität der Plattform sowie ihre horizontale und vertikale Skalierbarkeit mit der gleichen Kapazität und Effizienz.