言語モデルの実行中にコンテキストのキーと値を保持するために使用されるメモリで、コンテキストが長くなると大きな負荷になることがあります。
オープンウェイトのAIモデルは、組織にローカル運用の柔軟性を高め、サービスプロバイダーへの依存を減らす手段を提供する。しかし、それは訓練データ、コード、利用権が自動的に公開されることを意味しない。Semiconductor Engineeringの分析は、その影響がメモリ、インターコネクト、セキュリティ、チップ設計ツールのワークフローにまで及ぶことを示している。
カリフォルニア大学バークレー校とFuriosaAIの論文は、大規模言語モデルの実行時にAIアクセラレーターのメモリを拡張するため、High Bandwidth Flashの利用を検討している。シミュレーションでは、完了時間を最大87%短縮できる可能性が示されており、ストレージを意識したスケジューリングによって、消費電力の改善や書き込み寿命の延長も見込まれる。
マイクロソフトのラニ・ブールカーは、AIインフラの成功はチップ数や処理されたトークン数ではなく、エネルギー、メモリ、投資の各単位から生み出される有用な知能の量で測るべきだと考えている。そして、データセンターやチップからモデル、ソフトウェア、エージェントに至る統合的な設計を呼びかけている。
Expederaのシャラド・チョールは、エッジデバイスが従来のビジョンネットワークからLLMやVLMへ移行することで、ボトルネックの性質が演算能力からメモリトラフィックへと変化していることを分析する。また、パケットベースの処理が外部データ転送を削減し、自動車や組み込み機器内でのモデル実行を改善する役割を紹介する。