Leistungsbeschränkungen in Tensor-Kernen aufheben
Eine Reihe von Open-Source-Projekten hat die Existenz bewusster Softwarebeschränkungen in den GeForce-Grafikkarten von NVIDIA (RTX-Serien 20, 30 und 40) aufgedeckt, bei denen die Tensor-Kerne nur mit der Hälfte ihrer maximalen Geschwindigkeit arbeiten, wenn bestimmte Berechnungen durchgeführt werden, die auf FP32-Präzisionsakkumulation basieren. Diese Einschränkung, die NVIDIA softwareseitig auferlegt, um Gaming-Karten von professionellen Workstation-Karten zu unterscheiden, begrenzt die Effizienz der Karten bei Aufgaben des Trainings von KI-Modellen und der Inferenz.
Wie funktionieren die Modifikationen?
Die Initiative begann mit einem GitHub-Nutzer namens Zagitta, der ein Linux-Kernel-Modul namens gpu-unlock entwickelte. Dieses Tool arbeitet vor dem Laden der offiziellen NVIDIA-Treiber, indem es die Geschwindigkeitswahlregister der Karte umschreibt und zurücksetzt. Da die Modifikation auf Kernel-Ebene erfolgt, ist keine Änderung des VBIOS oder dauerhafte Modifikationen an den Treibern erforderlich.
Tests an einer RTX 3090 Ti zeigten eine bemerkenswerte Steigerung der Matrixverarbeitungsleistung, wobei die BF16-Verarbeitungsgeschwindigkeit von 87,5 auf 157,4 TFLOPS stieg und die TF32-Leistung fast verdoppelt wurde. Diese Lösungen wurden auch für andere Generationen angepasst, wie gpu-unlock-ada für die RTX 40-Serie und turing-unlock für die RTX 20-Serie.
Was ändert sich praktisch für die Nutzer?
- Leistungsverbesserungen: Nutzer profitieren primär bei Aufgaben der Bildgenerierung (Image Generation) und beim Fine-tuning von Modellen, da diese Aufgaben intensiv auf FP32-Accumulate-Berechnungen angewiesen sind.
- Begrenzter Nutzen für Gaming: Gamer werden keinen Leistungsunterschied bemerken, da Spiele nicht auf diese Art von intensiven Berechnungen für Tensor-Kerne angewiesen sind.
- Chat-Anwendungen: Die Textgenerierungsgeschwindigkeit (Token speed) erfährt keine nennenswerte Verbesserung, da sie primär durch die Speicherbandbreite (Memory Bandwidth) und nicht durch die reine Rechenleistung begrenzt wird.
Wichtige Überlegungen und Risiken
Obwohl die Entwickler darauf hinweisen, dass die thermischen Schutz- und Energiemechanismen der Karte weiterhin aktiv bleiben, gibt es Warnungen, dass der Betrieb der Tensor-Kerne mit voller Leistung zu einem hohen Energieverbrauch führen kann, was Bedenken hinsichtlich der langfristigen Hardwarestabilität aufwirft. Zudem beschränkt sich die derzeitige Unterstützung fast ausschließlich auf die Linux-Umgebung, mit nur sehr begrenzten Versuchen unter Windows.