Das Unternehmen Together AI hat eine neue technologische Innovation namens Together Compiler vorgestellt. Dabei handelt es sich um ein fortschrittliches System, das auf KI-Programmieragenten (AI Coding Agents) basiert, um die Optimierung des Codes für Grafikprozessoren (GPU) zu übernehmen, die die eigene Inferenz-Infrastruktur betreiben. Dieses System zielt darauf ab, Leistungsoptimierungsprozesse zu automatisieren, für die menschliche Ingenieure bisher Tage oder Wochen mühsamer manueller Arbeit aufwenden mussten.
Vollständige Automatisierung unter menschlicher Aufsicht
Das Together Compiler-System generiert, testet und optimiert GPU-Kernel, ohne dass Ingenieure jedes Experiment einzeln anleiten müssen. Das Unternehmen erklärte, dass der Optimierungszyklus völlig autonom arbeitet, wobei das System bereits über Nacht spürbare Leistungssteigerungen erzielen kann. Dennoch betonte Together AI, dass man einen "Human-in-the-loop"-Ansatz verfolgt, bei dem die endgültige Bewertung und die tatsächliche Bereitstellung in der Produktionsumgebung der Zustimmung eines menschlichen Ingenieurs unterliegen, der die Änderungen vor der Implementierung überprüft.
Die Herausforderung der beschleunigten KI-Modelle
Dieser Schritt ist eine Reaktion auf die große Herausforderung, die durch das beschleunigte Tempo bei der Veröffentlichung neuer KI-Modelle entsteht. Laut Unternehmensdaten stammen derzeit 80 % des Datenverkehrs über die OpenRouter-Plattform von Modellen, die erst in den letzten drei Monaten veröffentlicht wurden. Da jedes Modell unterschiedliche technische Anforderungen hat, funktioniert der für ein bestimmtes Modell optimierte Code möglicherweise nicht mit der gleichen Effizienz bei einem anderen Modell, was einen enormen Druck auf die Ingenieure ausübt, mit diesen Änderungen manuell Schritt zu halten.
Ein Sprung bei der Geschwindigkeit von Experimenten und Leistung
Together AI ist es gelungen, eine Methode zur drastischen Beschleunigung des Testprozesses zu entwickeln. Anstatt die Inferenz-Engine jedes Mal neu zu starten, wenn der Programmieragent den Code ändert, lädt der Together Compiler den neuen Code direkt während des Betriebs in die Engine. Diese Maßnahme hat die Initialisierungszeit von etwa 467 Sekunden auf nur 9 Sekunden gesenkt, was es dem System ermöglicht, 252-mal mehr Optimierungsexperimente durchzuführen als aktuelle Systeme.
In Bezug auf die praktischen Ergebnisse verzeichnete das Unternehmen eine Steigerung des Inferenz-Durchsatzes (Inference Throughput) um das bis zu 2,6-fache im Vergleich zu den veröffentlichten Standardkonfigurationen, abhängig vom Modelltyp und der verwendeten Hardware. Das System verarbeitet derzeit täglich Billionen von Tokens über die Infrastruktur des Unternehmens.
Was ändert sich praktisch für Entwickler?
Für Entwickler und Unternehmen, die die Dienste von Together AI nutzen, bedeutet diese Entwicklung nicht unbedingt eine direkte Preissenkung, sondern eine höhere Leistung und Effizienz bei gleichen Kosten. Die praktischen Vorteile lassen sich wie folgt zusammenfassen:
- Hardware-Effizienz: Maximale Leistung aus den verfügbaren GPUs herausholen, was die Ressourcenverschwendung reduziert.
- Anpassungsgeschwindigkeit: Die Fähigkeit, moderne Modelle unmittelbar nach ihrer Veröffentlichung mit der höchstmöglichen Leistung auszuführen, ohne auf lange manuelle Optimierungszyklen warten zu müssen.
- Leistungszuverlässigkeit: Dank der Durchführung hunderter automatisierter Experimente findet das System Softwarelösungen, die ein menschlicher Ingenieur aufgrund von Zeitmangel möglicherweise nicht entdecken würde.
Der Together Compiler stellt einen bedeutenden Wandel in der Verwaltung der KI-Infrastruktur dar. KI ist nicht mehr nur ein Endprodukt, sondern wird zum grundlegenden Werkzeug für die Optimierung der Hardware und Software, auf der sie läuft, wodurch der technische Kreislauf hin zu selbstoptimierenden Systemen geschlossen wird.