Technische Teams, die KI-Workloads auf der Kubernetes-Plattform verwalten, stehen unter ständigem Druck, da GPU-Cluster ausgelastet sind und die Warteschlangen für Batch-Jobs wachsen. Die Erweiterung der GPU-Infrastruktur ist oft die schnellste Option, doch das Anwachsen der Warteschlangen kann auf Mängel beim Timing, bei der Modell-Service-Kapazität oder bei der Effizienz der Auswahl zwischen Hardware und verschiedenen Modellen hinweisen. Bevor die Entscheidung getroffen wird, mehr Ressourcen zu kaufen und bereitzustellen, müssen Teams Erfolgskennzahlen, Fristen und die tatsächlichen Kosten für die Bereitstellung von Ergebnissen definieren.
Unterscheidung zwischen Auslastung und tatsächlichem Durchsatz
Die Herausforderung besteht nicht nur darin, Ressourcen zu betreiben, da eine zugewiesene GPU, eine ausgelastete GPU und eine Arbeitseinheit, die wertvolle Ergebnisse liefert, völlig unterschiedliche Konzepte sind. Das Verständnis der Beziehung zwischen diesen Zuständen ermöglicht es Teams, die vorhandene Kapazität effektiver zu nutzen.
- Festlegung von Fristen: Einige Dienste wie Chatbots erfordern eine kontinuierliche Antwortzeit rund um die Uhr, während Aufgaben zur Modellbewertung mit spezifischen internen Veröffentlichungsterminen verknüpft sind.
- Qualitätsziele: Jeder Inferenzdienst muss über eine definierte Qualitätsschwelle und ein Ziel für die Antwortzeit verfügen, da der bloße Erhalt einer vollständigen Antwort nicht unbedingt bedeutet, dass das vom Kunden gewünschte Ziel erreicht wurde.
Nutzung von flexiblem Scheduling zur Reduzierung von Lastspitzen
Die Flexibilität beim Scheduling hilft, Engpässe zu lindern, ohne sofort die Infrastruktur erweitern zu müssen. Wenn beispielsweise vier GPUs für Batch-Jobs für einen bestimmten Zeitraum verfügbar sind und vier Aufgaben vorliegen, die jeweils zwei Einheiten erfordern, würde deren gleichzeitiger Betrieb acht Einheiten erfordern. Eine zeitliche Staffelung und die Planung von zwei Aufgaben zuerst und dann der letzten beiden führt jedoch dazu, dass die Arbeit vollständig zum geplanten Zeitpunkt und unter Verwendung derselben verfügbaren Ressourcen erledigt wird.
Teams profitieren von Tools wie Kueue, um Kontrollpunkte für die Zulassung und Richtlinien bereitzustellen, vorausgesetzt, die Fristen und Anforderungen werden genau definiert und abgebildet, um zu verhindern, dass Aufgaben frühzeitig gestartet und später gestoppt werden müssen.
Messung der nachhaltigen Servicekapazität und Leistungstests
Ein Anstieg der GPU-Aktivität spiegelt nicht das Volumen des verfügbaren zusätzlichen Durchsatzes wider. Daher erfordert die Messung der nachhaltigen Kapazität die Durchführung eines repräsentativen Lasttests, bei dem Hardware und Serviceeinstellungen fixiert und die Anforderungsrate variiert werden, um die höchste nachhaltige Rate zu erreichen, die die Qualitätsanforderungen und akzeptablen Latenzraten einhält.
Darüber hinaus ist es erforderlich, Kostendaten, die aus Tools wie OpenCost stammen, mit den tatsächlichen Ergebnissen und Diensten zu verknüpfen und dabei die Kosten pro erreichtem und verifiziertem Ergebnis zu berechnen, um ein Betriebsmodell zu erreichen, das das erforderliche Gleichgewicht zwischen Kosten und Effizienz herstellt.
Was ändert dieser Ansatz in der Praxis?
Der Fokus der Teams verlagert sich von der bloßen Verfolgung der Hardwareverbrauchsraten hin zur Bewertung der Effizienz der Ausgaben, die mit echten Geschäftsergebnissen verbunden sind. Dieser Wandel hilft, unnötige Kapitalinvestitionen in zusätzliche Hardware zu vermeiden und treibt die Verbesserung der Modelleffizienz und der Scheduling-Einstellungen voran, bevor weitere Ressourcen angefordert werden.