Die Plattform LinkedIn steht vor einer enormen technischen Herausforderung: 1,3 Milliarden Mitgliedern weltweit in Bruchteilen von Sekunde präzise Suchergebnisse und Empfehlungen zu liefern. Mit dem Übergang von der schlüsselwortbasierten Suche zur natürlichsprachlichen Suche ist die Abhängigkeit von großen Sprachmodellen (LLMs) zur Notwendigkeit geworden. Doch der Betrieb dieser riesigen Modelle in einer Umgebung, die eine sehr geringe Latenz erfordert, stellt ein großes technisches Hindernis dar. Sundara Raman Ramachandran, Principal Engineer im Team für Sprachmodell-Inferenz bei LinkedIn, stellte den Fahrplan vor, den das Unternehmen befolgt hat, um diese Modelle von Forschungs- zu Hocheffizienz-Produktionssystemen umzuwandeln.
Modellkomprimierung: Von 7 Milliarden auf 400 Millionen Parameter
LinkedIn begann die Arbeit mit einem gigantischen Modell, das 7 Milliarden Parameter (7B) umfasste. Dieses Modell ist zwar exzellent im Verständnis von Kontext und regulatorischen Richtlinien, aber aufgrund seiner Langsamkeit und hohen Kosten für den praktischen Betrieb ungeeignet. Das Team verfolgte eine Strategie der "Multi-Teacher-Distillation", bei der das Wissen vom riesigen Modell auf zwei kleinere, spezialisierte Modelle übertragen wurde: eines zur Verbesserung der "Relevanz" (Relevance) und das andere zur Steigerung des "Engagements" (Engagement).
Anschließend wurde dieses Wissen in ein kleines Sprachmodell (SLM) mit 600 Millionen Parametern integriert und einem "Pruning"-Prozess unterzogen, um unnötige Schichten und Attention Heads zu entfernen, sodass die endgültige Größe auf nur noch 400 Millionen Parameter schrumpfte. Dieser Prozess ermöglichte es dem Unternehmen, ein Modell zu erhalten, das klein genug ist, um mit extrem hoher Geschwindigkeit zu arbeiten, während die Qualität der Klassifizierungsergebnisse innerhalb kommerziell akzeptabler Grenzen gehalten wird.
Kontextkomprimierung: Innovation bei der Token-Bereitstellung
In Klassifizierungssystemen stellt der "Token" die Grundeinheit dar; je größer die Anzahl der Tokens, desto höher ist die Latenz. Eine traditionelle Stellenbeschreibung kann 2000 Tokens überschreiten, und bei der Klassifizierung von 100 Stellen pro Nutzer wird die Last enorm. LinkedIn verfolgte zwei Ansätze zur Komprimierung dieses Kontexts:
- Zusammenfassung: Verwendung eines Sprachmodells, um die Stellenbeschreibung von 2000 Tokens auf nur noch 150 Tokens zu komprimieren, wodurch der Durchsatz um das Neunfache gesteigert wurde, bei einem Qualitätsverlust von höchstens 2 %.
- Einbettungen (Embeddings): Komprimierung der gesamten Stellenbeschreibung in einen einzigen Vektor (Embedding) anstelle von Text, was zu einem zusätzlichen Durchsatzsprung um das Zehnfache im Vergleich zur Zusammenfassung führte, bei einer leichten Qualitätsverbesserung.
Überwindung von Python-Engpässen und des Inferenzsystems
Die Ingenieure stauten sich unerwarteten Herausforderungen gegenüber, die sich aus der Natur der Programmiersprache Python und dem Betriebssystem ergaben. Eine der prominentesten Herausforderungen waren plötzliche Latenzspitzen (P99-Spikes), die durch den "Garbage Collector" in Python verursacht wurden. Dieses Problem wurde durch die Verwendung des Befehls gc.freeze() gelöst, der dem System signalisiert, langlebige Objekte zu ignorieren und diese nicht regelmäßig zu überprüfen, was zu einer Stabilisierung der Latenz führte.
Das Team ging auch das Problem des "Global Interpreter Lock" (GIL) in Python an, welches echte Parallelität verhindert. Dies geschah durch den Übergang zu einem Multiprocessing-System, bei dem jeder Prozess mit einer eigenen Kopie des Modells und einem unabhängigen CUDA-Stream arbeitet, wodurch die vollständige Ausnutzung der Grafikprozessoren (GPUs) ermöglicht wurde.
Was ändert sich praktisch für Ingenieure?
Die Erfahrung von LinkedIn zeigt, dass der Erfolg beim Betrieb von Künstlicher Intelligenz im großen Maßstab nicht nur von der Stärke des Modells abhängt, sondern von der Architektur des umgebenden Systems. Die wichtigste Lehre hierbei ist, dass "die beste Repräsentation nicht notwendigerweise die längste ist"; die Verkleinerung des Kontexts und die Verbesserung der Effizienz der Code-Inferenz können bessere Ergebnisse liefern als die bloße Vergrößerung der Modellgröße. Für Entwickler bedeutet dies, dass sie sich auf die Optimierung einfacher Code-Operationen wie Batch-Tokenisierung und die Verwendung nicht-blockierender CUDA-Kopien konzentrieren müssen, bevor sie über eine Aufrüstung der Hardware oder die Erhöhung der Anzahl von Grafikprozessoren nachdenken.