用語

AI Inference:AI推論

AI推論とは、訓練済みのAIモデルを実行し、リクエストに応じて結果を生成することを指します。この用途は、クラウドインフラストラクチャサービス、企業サーバー、データセンター、出力処理の高速化を目的に設計されたチップやシステムに見られます。

AI推論とは、訓練済みのAIモデルを実行してリクエストを処理し、出力を生成する段階です。データとコンピューティングを使ってモデルの能力を構築する訓練とは異なります。

推論はどこで利用されるのか?

  • インフラストラクチャサービス:Modal Labsなどの企業は、サーバーを直接管理することなく、モデルや計算負荷の高いワークロードを実行するためのリソースを提供しています。
  • 専用チップとシステム:Etchedは、同社が挙げる代替手段と比べて、推論の高速化とコストおよびレイテンシーの削減を目指すハードウェアシステムに注力しています。
  • データセンターとGPU:CrusoeはAIモデルの実行向けにコンピューティング能力を販売するほか、スペースやGPUのレンタルも提供しています。
  • 企業向けサーバー:Sharpは企業、政府機関、データセンター運営者向けのサーバーの注文受付を開始しました。公表された用途には訓練と推論が含まれます。

なぜ専用インフラストラクチャが必要なのか?

推論には、GPU、サーバー、メモリ、ストレージ、ネットワーク、電力、冷却などのコンピューティングリソースが必要です。情報源によると、これらのサービスプロバイダーは、需要の増加と、コンピューティング能力の購入またはリースに伴う高いコストに同時に直面しており、利益率が圧迫される可能性があります。

製品とインフラストラクチャにおける推論

この分野では、企業が複数のレベルで競争しています。専用チップの設計、カスタマイズ可能なサーバーの構築、クラウドプラットフォームの提供、大量のGPUを稼働させられるデータセンターの構築などです。そのため、AI推論はモデル自体に限定されず、完全な運用エコシステムを必要とします。

何を評価すべきか?

  • 応答時間:リクエスト送信後に出力が生成されるまでの速さ。
  • コスト:コンピューティング能力、電力、冷却、運用を提供するための費用。
  • スケーラビリティ:より多くのリクエストやモデルに対応できるインフラストラクチャの能力。
  • 信頼性:稼働中におけるサーバー、プラットフォーム、ネットワークの安定性。

利用可能な情報の限界

利用可能な情報源には、価格、性能、市場シェアの観点から、すべての推論プロバイダーを統一的に比較した内容は含まれていません。また、記載されている数値の一部は公表された目標、計画、資金調達に関するものであり、必ずしも実現した運用結果を示すものではありません。