LinkedInは、世界中の13億人のメンバーに対し、ミリ秒単位で正確な検索結果とレコメンデーションを提供するという、莫大なエンジニアリングの課題に直面しています。キーワードベースの検索から自然言語検索への移行に伴い、大規模言語モデル(LLM)への依存が不可欠となりましたが、超低レイテンシが求められる環境でこれらの巨大モデルを稼働させることは、大きな技術的障壁となっています。LinkedInのLLM推論チームのシニアエンジニアであるスンダラ・ラマン・ラマチャンドラン氏は、これらのモデルを研究ツールから高効率な本番システムへと移行させるために同社がたどったロードマップを解説しました。
モデルの縮小:70億から4億パラメータへ
LinkedInは当初、70億パラメータ(7B)を持つ巨大モデルから作業を開始しました。これは文脈と規制ポリシーの理解において優れたモデルですが、その低速さと高いコストのために実際の運用には不向きでした。チームは「マルチ教師蒸留(Multi-teacher distillation)」戦略を採用し、巨大モデルから、特化した2つの小型モデル(1つは「関連性(Relevance)」の最適化用、もう1つは「エンゲージメント(Engagement)」の向上用)へと知識を伝達しました。
その後、これらの知識は600万ではなく6億パラメータを持つ小型言語モデル(SLM)に統合され、不要なレイヤーやアテンションヘッドを削除する「プルーニング(Pruning)」プロセスを経て、最終的なサイズはわずか4億パラメータにまで縮小されました。このプロセスにより、同社は超高速で動作しつつ、商業的に許容される範囲内で分類結果の品質を維持するのに十分な小型のモデルを取得することができました。
コンテキストの圧縮:トークン処理におけるイノベーション
分類システムにおいて、「トークン」は基本通貨です。トークンの数が増えるほど、レイテンシも増加します。従来の求人票は2000トークンを超えることがあり、1人のユーザーあたり100件の求人を分類する場合、その負荷は膨大なものになります。LinkedInはこのコンテキストを圧縮するために、2つのアプローチを採用しました。
- 要約:言語モデルを使用して求人票の記述を2000トークンからわずか150トークンに要約し、品質の低下を2%未満に抑えながらスループットを9倍に向上させました。
- ベクトル表現(エンベディング):テキストの代わりに求人票全体の記述を単一のベクトル(Embedding)に圧縮し、要約と比較してさらに10倍のスループット向上と、わずかな品質の改善を実現しました。
Pythonのボトルネックと推論システムの克服
エンジニアたちは、Python言語とオペレーティングシステムの性質に起因する予期せぬ課題に直面しました。その最も顕著な課題の1つが、Pythonの「ガベージコレクター」に起因するレイテンシの急増(P99スパイク)でした。この問題は、長寿命のオブジェクトを無視して定期的にスキャンしないようシステムに指示する gc.freeze() コマンドを使用することで解決され、レイテンシの安定化につながりました。
またチームは、真の並列処理を妨げるPythonの「グローバルインタプリタロック(GIL)」の問題にも対処しました。各プロセスがモデルの独自のコピーと独立したCUDAストリームで動作するマルチプロセッシングシステムへ移行することで、GPUの能力を完全に活用できるようになりました。
エンジニアにとって実質的に何が変わるのか?
LinkedInの経験は、AIの大規模運用における成功がモデルの強さだけでなく、その周辺のシステムエンジニアリングにかかっていることを証明しています。「最適な表現とは、必ずしも最も長いものであるとは限らない」という点がここでの最も重要な教訓です。コンテキストの縮小とプログラムの推論効率の改善は、単にモデルのサイズを大きくしたりGPUの数を増やしたりするよりも優れた結果をもたらす可能性があります。開発者にとってこれは、ハードウェアのアップグレードやGPUの増設を検討する前に、バッチトークン化(Batch Tokenization)や非ブロッキングCUDAコピー(Non-blocking CUDA copies)のような単純なプログラミングプロセスの最適化に注力する必要があることを意味しています。
ニュースの出典
InfoQ - Architecture Articles
原文を開く ↗