フランスのスタートアップKogは、データセンターで使われている従来型のGPUはまだ能力を使い果たしておらず、低レベルのソフトウェア最適化によって、新たな専用ハードウェアを必要とせずにAIモデルの推論性能を高められると見込んでいる。この賭けは、推論速度とコストがAIアプリケーション、特にエージェントベースのワークフローの拡大にとって主要なボトルネックとなっている時期に行われている。
Kogは5月、企業が保有するAMD MI300XやNvidia H200などの標準的なGPUを使い、単一リクエストのデコードで非常に高い速度を実現できることを示すことを目的とした技術的な初期版を披露し、Hacker Newsのトップページに掲載された。このデモはノートパソコンに搭載されているGPUを対象としたものではなく、その点に一部のフォロワーは失望したが、明確な商業的関心を集めた。最高経営責任者（CEO）で単独創業者のガエル・デラロー氏によると、Kogには具体的な商談機会が200件寄せられたという。
推論市場への入り口としてのエンジニアリングソフトウェア
同社は、ソフトウェアエンジニアリングを、Kog Inference Engine（略称KIE）の初期のユースケースの一つになると見込んでいる。Claude Codeのようなツールを専門的に使うユーザーは、結果を得るまで数時間に及ぶ待ち時間に直面することがあり、Anthropicも速度には金銭的価値があると認識し、高速モードに割増料金を設定している。
Kogは、専門的な業務でAIを利用する際にこうした遅延に妨げられている顧客を対象としている。同社には、1回のプロンプトでユーザーがゲームやアプリケーションを作成できるデザインパートナーもおり、デラロー氏によれば、より速い結果はより高い収益につながる可能性がある。
しかし、市場から得た同社のフィードバックによって、見込み顧客はまだ小型モデルを自ら調整する準備ができていないことが明らかになった。そのためKogは立ち上げ以来、把握した需要に応えるため、より大規模なモデルの高速化に注力しており、最初のデモよりもはるかに大きな課題に直面している。
毎秒3,000トークンからより大規模なモデルへ
Kogは、大規模言語モデルで約30倍高速な推論を実現することを目指しているという。しかし、これまでに行ったデモでは、約20億パラメーターの専用小型モデルであるLaneformer 2Bを使い、リクエストごとに毎秒3,000トークンを達成した。このモデルはオープンソース化されている。
デラロー氏は、モデルの規模が推論ハードウェアにとって課題となるにもかかわらず、同じアプローチが大規模言語モデルでも成功すると考えている。同氏の見方では、GPUはデコードに適していないという考えは誤った認識になった。新世代のGPUはより大きなメモリ帯域幅を提供しており、それをソフトウェアによって活用すればよいからだ。
Kogだけがこの方向に取り組んでいるわけではない。フランス企業のZMLは、NvidiaのCUDAを超え、競合チップ上での高速推論を支援するハードウェア非依存のソフトウェアを発表した。ただしデラロー氏は、Kogのアプローチはスタンフォード大学のHazy Research研究所の研究に近く、GPUの高速化により深く焦点を当てていると説明している。
高いエンジニアリングコストを伴う低レベルアプローチ
Kogの重点分野は、フランスのエコール・ポリテクニークで固体物理学を学び、その後、攻撃的サイバーセキュリティ、つまり倫理的ハッキングに携わった創業者の経歴と結びついている。デラロー氏によると、物理学の研究によって、自然の法則とGPUの動作法則を理解し、それらを最大限に活用するという考えが強まった。一方、ハッキングの仕事を通じて、システムが本来想定していない目的を達成するために、アセンブリ言語やバイナリコードに至るまで、非常に低いレベルでリバースエンジニアリングを行う方法を学んだという。
しかし、このアプローチは実用的である一方、時間もかかる。デラロー氏によれば、同社は新しいGPUごとに数週間、場合によっては数か月を費やし、その詳細を掘り下げてエンジニアリング調査を行っている。11人で構成されるチームでは、これにより、近い将来にKogがサポートできるチップの数が制限される。
次の決定的なステップ
長期的には、Kogは自社の方法論をエージェントベースの処理パイプラインへと転換し、より多くのチップとモデルをサポートできるようにしたいと考えている。それによって、欧州がこの分野で独自の能力を構築しようとしている中、欧州の技術主権に結びついた追い風を得られる可能性がある。同社はScalewayの支援を受けており、BpifranceとFrench Tech 2030プログラムからも支援を受けている。Kog創業者の元パートナーであるカメル・ゼルワル氏が所属するVarsity VCが、同社のシードラウンドを共同で主導した。
それでも、最も重要な試験は、KogがLaneformer 2Bで得た成果を実際の大規模言語モデルへ移行できるかどうかだ。デラロー氏は、同社が9月に初の主要モデルで10倍の速度を実現する見込みだと述べた。顧客獲得のための提供を開始した後、Series Aの資金調達ラウンドを実施したい考えだ。そのため、Kogの約束は、デモ用に作られた小型モデルではなく、顧客が実際に使いたいモデル上で実際に検証される必要がある。