Capa de memoria flash de alto ancho de banda que el artículo propone utilizar junto con HBM y la memoria del host para ampliar la memoria disponible para servir modelos de lenguaje de gran tamaño.
Un artículo de UC Berkeley y FuriosaAI analiza el uso de High Bandwidth Flash para ampliar la memoria de los aceleradores de inteligencia artificial al ejecutar modelos de lenguaje grandes. Las simulaciones indican una reducción de hasta el 87 % en el tiempo de finalización, con posibles mejoras en el consumo de energía y una prolongación de la vida útil de escritura mediante una planificación consciente de la caché.