中央のクラウドサービスに全面的に依存するのではなく、デバイス上またはデバイスの近くでAI推論を実行すること。
Microsoftは、顧客が所有するデバイスや環境でAIを実行すると、モデル、データ、鍵がサービスプロバイダーの直接的な管理外で動作するため、信頼モデルが変わると説明している。そして、実行環境の健全性の証明、コンポーネントの出所の検証、モデルの行動に対する決定論的な仲介の強制、証拠とポリシーを満たすまで機密資産を開放しないことという、4つの柱を提案している。
Expederaのシャラド・チョールは、エッジデバイスが従来のビジョンネットワークからLLMやVLMへ移行することで、ボトルネックの性質が演算能力からメモリトラフィックへと変化していることを分析する。また、パケットベースの処理が外部データ転送を削減し、自動車や組み込み機器内でのモデル実行を改善する役割を紹介する。
NVIDIAは、エッジでAIとロボットを動作させるJetsonプラットフォームの能力を紹介した。初期プロジェクト向けのJetson Orin Nano Superから、より複雑なワークロード向けのJetson AGX Thorまでを取り上げている。同社の投稿では、自動運転、音声アシスタント、マルチモーダルロボットなどの応用例が紹介されている。