Kog

Kog setzt auf eine Vertiefung der Softwareoptimierung, um mehr Leistung aus GPU-Einheiten herauszuholen

Das französische Startup Kog glaubt, dass herkömmliche Grafikprozessoren durch tiefgreifende Softwareoptimierungen weiterhin höhere Geschwindigkeiten bei der Inferenz von KI-Modellen liefern können. Zunächst muss das Unternehmen jedoch nachweisen, dass sein Ansatz, der mit einem kleinen Modell 3.000 Token pro Sekunde erreicht, auch mit größeren Sprachmodellen funktioniert.