大規模言語モデルの実行および提供であり、提案されたメモリ階層アーキテクチャを評価する文脈です。
カリフォルニア大学バークレー校とFuriosaAIの論文は、大規模言語モデルの実行時にAIアクセラレーターのメモリを拡張するため、High Bandwidth Flashの利用を検討している。シミュレーションでは、完了時間を最大87%短縮できる可能性が示されており、ストレージを意識したスケジューリングによって、消費電力の改善や書き込み寿命の延長も見込まれる。