Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.
Das französische Startup Kog glaubt, dass herkömmliche Grafikprozessoren durch tiefgreifende Softwareoptimierungen weiterhin höhere Geschwindigkeiten bei der Inferenz von KI-Modellen liefern können. Zunächst muss das Unternehmen jedoch nachweisen, dass sein Ansatz, der mit einem kleinen Modell 3.000 Token pro Sekunde erreicht, auch mit größeren Sprachmodellen funktioniert.