Chips y semiconductores

Tecnología SlipStream: una solución innovadora para superar el obstáculo de la latencia en la memoria flash de alto ancho de banda para sistemas GPU

Investigadores de NVIDIA y las universidades de Stanford y Georgia Tech desarrollan la tecnología SlipStream para reducir la latencia en la memoria flash de alto ancho de banda (HBF), permitiendo capacidades de almacenamiento masivas para modelos de lenguaje grandes sin sacrificar el rendimiento.

2026-11-16
3 min de lectura
14 visitas
certi.news Editorial Team
Tecnología SlipStream: una solución innovadora para superar el obstáculo de la latencia en la memoria flash de alto ancho de banda para sistemas GPU

Las operaciones de inferencia de modelos de lenguaje grandes (LLM) enfrentan un desafío creciente: la necesidad de capacidades de memoria masivas para acomodar modelos enormes y tamaños de lote (Batch sizes) cada vez mayores. Si bien la memoria de alto ancho de banda (HBM) ofrece una velocidad superior, su capacidad sigue siendo limitada y costosa. De aquí surgió la idea de utilizar la memoria flash de alto ancho de banda (High-Bandwidth Flash - HBF) como alternativa, pero se topó con el obstáculo de la alta latencia.

El difícil compromiso: capacidad frente a velocidad

La tecnología HBF se basa en reemplazar los chips DRAM en la memoria HBM por chips NAND flash, lo que proporciona una capacidad de almacenamiento hasta 16 veces mayor con el mismo ancho de banda de lectura. Sin embargo, este avance tiene un costo técnico elevado; la latencia de lectura en HBF alcanza aproximadamente los 20 microsegundos, lo que equivale a 20 veces la latencia de la HBM tradicional. Esta diferencia ralentiza las operaciones de inferencia hasta 12.8 veces cuando se depende del acceso directo a los datos desde la HBF.

¿Cómo aborda la tecnología SlipStream esta brecha?

Un equipo de investigación conjunto de NVIDIA y las universidades de Stanford y Georgia Tech presentó un artículo de investigación titulado "SlipStream", una tecnología basada en el diseño conjunto de software y hardware (Software-hardware co-design) para transformar el proceso de pre-obtención de datos (Prefetching) en una línea de producción que opera bajo un sistema de "productor-consumidor".

El mecanismo de trabajo se basa en dos niveles:

  • A nivel de software: La tecnología analiza el orden de solicitud de páginas de pesos (Weight-pages) repetido en los núcleos (Kernels) de los modelos de lenguaje, y luego inserta una "fase de preparación" (Staging warp) que vuelve a ejecutar este orden utilizando instrucciones no bloqueantes (Non-blocking STAGE instructions).
  • A nivel de hardware: El "Staging warp" actúa como productor de datos, mientras que los "Work warps" actúan como consumidores. La genialidad técnica aquí radica en el seguimiento de páginas de 4 kilobytes en lugar de las líneas de caché tradicionales, lo que reduce significativamente el consumo de memoria SRAM.

¿Qué cambia prácticamente en el rendimiento?

Las pruebas realizadas en siete modelos densos con capacidades que oscilan entre 16 y 800 gigabytes demostraron una superioridad abrumadora de la tecnología SlipStream sobre los diseños actuales como H3. Mientras que el diseño H3 requería una memoria caché masiva de hasta 320 megabytes para lograr un rendimiento de solo el 43.1% del rendimiento ideal, SlipStream logró alcanzar el 92.4% del rendimiento ideal utilizando solo 40 megabytes de memoria caché.

Más importante aún, el tamaño de memoria requerido en SlipStream no depende de la latencia de la HBF ni del tipo de carga de trabajo, lo que la convierte en una solución flexible y escalable. La tecnología también demostró su eficiencia en el soporte de modelos de "mezcla de expertos" (Mixture-of-Experts - MoE), logrando el 91.2% del rendimiento ideal, lo que abre nuevos horizontes para ejecutar los modelos de inteligencia artificial más grandes con un costo menor y capacidades de almacenamiento mucho mayores.

Fuente de la noticia
Semiconductor Engineering
Abrir fuente original ↗
c
Autor

certi.news Editorial Team

De la misma categoría

También te puede interesar

Ver todas las noticias