Запуск и обслуживание больших языковых моделей — это контекст оценки предложенной иерархической архитектуры памяти.
В статье исследователей из Калифорнийского университета в Беркли и FuriosaAI рассматривается использование High Bandwidth Flash для расширения памяти ускорителей ИИ при работе с большими языковыми моделями. Согласно моделированию, время завершения может сократиться до 87%, а энергопотребление и срок службы флеш-памяти могут улучшиться благодаря планированию с учётом кэширования.