用語

KVキャッシュ

言語モデルの実行中にコンテキストのキーと値を保持するために使用されるメモリで、コンテキストが長くなると大きな負荷になることがあります。

最新の報道

CN
オープンウェイトAIモデルはなぜハードウェア設計を再構築するのか

オープンウェイトAIモデルはなぜハードウェア設計を再構築するのか

オープンウェイトのAIモデルは、組織にローカル運用の柔軟性を高め、サービスプロバイダーへの依存を減らす手段を提供する。しかし、それは訓練データ、コード、利用権が自動的に公開されることを意味しない。Semiconductor Engineeringの分析は、その影響がメモリ、インターコネクト、セキュリティ、チップ設計ツールのワークフローにまで及ぶことを示している。

CN
高帯域幅フラッシュメモリは大規模言語モデルのサービス時間を最大87%短縮する可能性

高帯域幅フラッシュメモリは大規模言語モデルのサービス時間を最大87%短縮する可能性

カリフォルニア大学バークレー校とFuriosaAIの論文は、大規模言語モデルの実行時にAIアクセラレーターのメモリを拡張するため、High Bandwidth Flashの利用を検討している。シミュレーションでは、完了時間を最大87%短縮できる可能性が示されており、ストレージを意識したスケジューリングによって、消費電力の改善や書き込み寿命の延長も見込まれる。

CN
マイクロソフト:AIの進歩の基準はインフラの規模ではなく「有用な収益」であるべきだ

マイクロソフト:AIの進歩の基準はインフラの規模ではなく「有用な収益」であるべきだ

マイクロソフトのラニ・ブールカーは、AIインフラの成功はチップ数や処理されたトークン数ではなく、エネルギー、メモリ、投資の各単位から生み出される有用な知能の量で測るべきだと考えている。そして、データセンターやチップからモデル、ソフトウェア、エージェントに至る統合的な設計を呼びかけている。

CN
エッジAIがLLMモデルへ移行する中、なぜNPUは再設計を必要とするのか

エッジAIがLLMモデルへ移行する中、なぜNPUは再設計を必要とするのか

Expederaのシャラド・チョールは、エッジデバイスが従来のビジョンネットワークからLLMやVLMへ移行することで、ボトルネックの性質が演算能力からメモリトラフィックへと変化していることを分析する。また、パケットベースの処理が外部データ転送を削減し、自動車や組み込み機器内でのモデル実行を改善する役割を紹介する。