Das französische Startup Kog setzt darauf, dass herkömmliche Grafikprozessoren in Rechenzentren ihre Möglichkeiten noch nicht ausgeschöpft haben und dass hardwarenahe Softwareoptimierungen die Leistung bei der Inferenz von KI-Modellen steigern können, ohne dass neue spezialisierte Hardware erforderlich ist. Diese Wette geht das Unternehmen zu einem Zeitpunkt ein, an dem Inferenzgeschwindigkeit und -kosten zu einem zentralen Engpass für die Ausweitung von KI-Anwendungen geworden sind, insbesondere bei agentenbasierten Arbeitsabläufen.
Kog erschien im Mai auf der Startseite von Hacker News, als das Unternehmen eine technische Vorabversion vorstellte, die zeigen sollte, dass sich mit handelsüblichen GPUs, wie sie bei Unternehmen vorhanden sind, darunter AMD MI300X und Nvidia H200, eine sehr hohe Geschwindigkeit bei der Dekodierung einzelner Anfragen erreichen lässt. Die Demonstration richtete sich nicht an Grafikprozessoren in Laptops, was einige Beobachter enttäuschte, stieß jedoch auf deutliches kommerzielles Interesse. Der CEO und alleinige Gründer des Unternehmens, Gaël Delalou, sagte, Kog habe 200 konkrete Geschäftschancen erhalten.
Softwareengineering als Zugang zum Inferenzmarkt
Das Unternehmen erwartet, dass Softwareengineering zu den ersten Anwendungsfällen für den Dienst Kog Inference Engine gehören wird, kurz KIE. Professionelle Nutzer von Tools wie Claude Code müssen mitunter stundenlang auf Ergebnisse warten. Anthropic ist sich unterdessen bewusst, dass Geschwindigkeit einen finanziellen Wert hat, und verlangt für seinen schnellen Modus einen höheren Preis.
Kog richtet sich an Kunden, die bei der Nutzung von KI für berufliche Aufgaben durch diese Verzögerungen behindert werden. Das Unternehmen hat außerdem Designpartner, die es Nutzern ermöglichen, mit einer einzigen Eingabeaufforderung Spiele und Anwendungen zu erstellen. Schnellere Ergebnisse könnten dabei zu höheren Einnahmen führen, so Delalou.
Die Rückmeldungen des Unternehmens aus dem Markt zeigten jedoch, dass potenzielle Kunden noch nicht bereit sind, kleine Modelle selbst zu optimieren. Daher konzentriert sich Kog seit seiner Gründung auf die Beschleunigung größerer Modelle, als Reaktion auf die festgestellte Nachfrage. Das stellt das Unternehmen vor eine deutlich größere Herausforderung als die erste Demonstration.
Von 3.000 Token pro Sekunde zu größeren Modellen
Kog sagt, das Unternehmen strebe bei großen Sprachmodellen eine etwa 30-mal schnellere Inferenz an. Die bisherige Demonstration erreichte jedoch 3.000 Token pro Anfrage und Sekunde mit einem kleinen, maßgeschneiderten Modell mit rund zwei Milliarden Parametern: Laneformer 2B, das inzwischen als Open Source verfügbar ist.
Delalou ist der Ansicht, dass derselbe Ansatz auch bei großen Sprachmodellen funktionieren kann, obwohl deren Größe eine Herausforderung für Inferenzhardware darstellt. Seiner Auffassung nach ist die Annahme, GPUs seien für die Dekodierung ungeeignet, inzwischen ein Irrglaube, da neuere Generationen dieser Einheiten eine höhere Speicherbandbreite bieten, die lediglich softwareseitig genutzt werden müsse.
Kog arbeitet dabei nicht allein in diese Richtung. Das französische Unternehmen ZML hat hardwareunabhängige Software eingeführt, die über Nvidias CUDA hinausgeht, um schnelle Inferenz auf konkurrierenden Chips zu unterstützen. Delalou beschreibt den Ansatz von Kog jedoch als näher an der Forschung des Hazy Research Lab an der Stanford University, mit einem stärkeren Fokus auf die Beschleunigung von GPUs.
Ein hardwarenaher Ansatz mit hohen Engineeringkosten
Der Fokus von Kog hängt mit dem Hintergrund seines Gründers in der Festkörperphysik an der École Polytechnique in Frankreich und seiner anschließenden Arbeit im offensiven Cybersecurity-Bereich beziehungsweise im ethischen Hacking zusammen. Delalou sagte, das Physikstudium habe in ihm die Vorstellung gestärkt, die Naturgesetze und die Funktionsweise einer GPU zu verstehen, um sie maximal zu nutzen. Die Arbeit im Hacking habe ihn hingegen gelehrt, auf sehr niedriger Ebene Reverse Engineering zu betreiben, bis hin zu Assemblersprache und Binärcode, um Ziele zu erreichen, für die das System ursprünglich nicht entwickelt worden war.
Dieser Ansatz ist jedoch zugleich praktisch und langsam. Delalou zufolge widmet das Unternehmen jeder neuen GPU mehrere Wochen oder sogar Monate, um ihre Details eingehend zu untersuchen und Engineering-Forschung dazu zu betreiben. Mit einem Team von 11 Personen begrenzt dies die Zahl der Chips, die Kog in absehbarer Zukunft unterstützen kann.
Der nächste entscheidende Schritt
Langfristig will Kog seine Methodik in agentenbasierte Verarbeitungspipelines umwandeln, damit das Unternehmen eine größere Zahl von Chips und Modellen unterstützen kann. Das könnte ihm angesichts des Bestrebens Europas, eigene Fähigkeiten in diesem Bereich aufzubauen, einen Schub im Zusammenhang mit der europäischen Technologiesouveränität verleihen. Das Unternehmen wird von Scaleway unterstützt; außerdem erhält es Unterstützung von Bpifrance und dem Programm French Tech 2030. Der Fonds Varsity VC, dem der frühere Partner von Kog-Gründer Kamel Zeroual angehört, leitete die Seed-Finanzierungsrunde des Unternehmens gemeinsam.
Der wichtigste Test bleibt jedoch, ob Kog seine Ergebnisse vom Modell Laneformer 2B auf ein tatsächlich großes Sprachmodell übertragen kann. Delalou sagte, das Unternehmen erwarte, im September erstmals ein großes Modell mit zehnfacher Geschwindigkeit auszuführen. Nach Beginn einer Vorführung zur Kundengewinnung hoffe Kog, eine Series-A-Finanzierungsrunde aufzunehmen. Die Versprechen von Kog müssen daher weiterhin praktisch an den Modellen überprüft werden, die Kunden tatsächlich nutzen wollen, und nicht an einem kleinen, für die Demonstration maßgeschneiderten Modell.