Guías

Cómo comprender los componentes de la arquitectura de inteligencia artificial y evaluar las opciones de escalabilidad

Guía conceptual para comprender las capas fundamentales de la arquitectura de inteligencia artificial, desde la energía, los chips y la memoria hasta las redes y el almacenamiento, con un marco para evaluar la escalabilidad dentro del servidor, entre servidores o mediante una arquitectura desagregada. La guía se basa en las pruebas disponibles y no incluye una prueba práctica independiente.

Los sistemas de inteligencia artificial necesitan un ecosistema interconectado que incluya computación, memoria, interconexión, almacenamiento, energía, refrigeración y software. Por ello, al diseñar la infraestructura no basta con elegir un procesador o acelerador más rápido.

1. Determina la naturaleza de la carga de trabajo

Comienza determinando si la infraestructura servirá para el entrenamiento de modelos, la inferencia o ambas tareas. Las pruebas indican que las cargas de inferencia continua, los modelos a gran escala y las aplicaciones periféricas pueden necesitar distintas opciones de procesamiento, memoria e interconexión.

  • Entrenamiento: requiere coordinar grandes cantidades de unidades de procesamiento, y la comunicación entre los componentes puede convertirse en una parte importante del tiempo de ejecución.
  • Inferencia: puede centrarse en la latencia, el tamaño de la memoria o la eficiencia de ejecución de los modelos.
  • Cargas periféricas: pueden depender de procesadores especializados para la inferencia continua o para ejecutar inteligencia artificial cerca de la fuente de datos.

2. Evalúa la computación y la memoria conjuntamente

No consideres únicamente el número de unidades de procesamiento. La memoria, su capacidad y la forma en que se integra se han convertido en parte del diseño de la infraestructura, con la aparición de módulos de memoria para servidores de alta capacidad y tecnologías de apilamiento e interconexión como TSV.

  • Determina la capacidad de memoria necesaria para los modelos y los datos.
  • Comprueba si la memoria está cerca del procesador o disponible mediante una malla compartida.
  • Ten en cuenta que la falta de memoria o la lentitud en la transferencia de datos pueden limitar el aprovechamiento de la capacidad de procesamiento.

3. Elige un patrón de distribución de recursos

Las pruebas presentan tres patrones principales y no describen ninguno de ellos como una solución universal.

  • Escalabilidad dentro del sistema: mantiene el procesador y los aceleradores cerca dentro del servidor, lo que resulta adecuado para cargas sensibles a la latencia, pero está condicionado por el número de líneas del procesador, el espacio del chasis, la energía y la refrigeración.
  • Escalabilidad entre servidores: distribuye el rendimiento entre varios nodos mediante Ethernet o InfiniBand, pero añade latencia y requiere software para coordinar los datos y las cargas.
  • Arquitectura desagregada: permite acceder a recursos como GPU, almacenamiento o unidades SmartNIC y DPU mediante una malla compartida. Puede mejorar el aprovechamiento de los recursos, pero añade desafíos de contención, aislamiento y gestión.

4. Diseña la ruta de interconexión

PCIe desempeña un papel fundamental en la conexión de procesadores, unidades de procesamiento gráfico, aceleradores, unidades SmartNIC o DPU y almacenamiento. Las pruebas muestran que los conmutadores PCIe amplían el número de puntos de conexión y dirigen las transacciones entre los puertos.

  • Determina el número de conexiones de entrada y salida.
  • Calcula el ancho de banda necesario y el nivel de sobresuscripción entre los dispositivos.
  • Examina los mecanismos de arbitraje, almacenamiento en búfer y gestión de créditos para reducir la contención y el bloqueo de la cabecera de la cola.
  • Ten en cuenta la compatibilidad entre generaciones de PCIe; PCIe 5.0 y PCIe 6.x siguen utilizándose en las arquitecturas actuales, mientras que PCIe 7.0 ofrece una tasa de transferencia bruta de hasta 128 GT/s por línea según el material.

5. Aborda la distancia y la calidad de la señal

Al distribuir recursos mediante rutas más largas, conectores o cables, aumentan los desafíos relacionados con la pérdida del canal, las reflexiones, las interferencias y el jitter. Los retimers recuperan el reloj y los datos, terminan un segmento eléctrico y vuelven a transmitir la señal.

  • Evalúa la pérdida del canal, la longitud de las rutas y los conectores.
  • Calcula el efecto de cada segmento retimado sobre la latencia, la energía y el calor.
  • Comprueba la compatibilidad entre los procesadores, los puntos finales, las interfaces PHY, los conectores, los cables y el firmware.

6. Vincula la arquitectura con la energía, la refrigeración y la ubicación

Las pruebas muestran que la escalabilidad requiere más que chips; también depende de la energía, los centros de datos, la refrigeración y las cadenas de suministro. Entre las opciones se incluyen grandes centros de datos y unidades modulares transportables que pueden conectarse a distintas fuentes de energía, pero el impacto de las unidades modulares en el coste y la velocidad de escalabilidad requiere una prueba práctica según el material.

  • Determina la capacidad de energía y refrigeración disponible en el emplazamiento.
  • Examina las restricciones para construir centros de datos y la aceptación por parte de las comunidades locales.
  • Evalúa si el emplazamiento necesita una gran infraestructura permanente o unidades transportables, sin suponer que una opción sea superior a la otra.

7. Evalúa el rendimiento a nivel del sistema

Utiliza una carga de trabajo y una topología que representen el uso real, no solo una lista general de especificaciones. Las pruebas recomiendan medir el ancho de banda, la latencia, la pérdida del canal, el consumo de energía, la capacidad de gestión y la interoperabilidad.

  • Compara el tiempo de comunicación con el tiempo de cálculo.
  • Supervisa los puntos de contención al compartir recursos de GPU o almacenamiento.
  • Prueba la escalabilidad al aumentar el número de nodos y dispositivos.
  • Distingue entre los resultados de simulación y las mediciones independientes en un entorno operativo real; el resultado anunciado por Huawei para un conjunto de 100.000 unidades NPU es una simulación, y el material no revela detalles suficientes sobre las cargas de trabajo o las condiciones de la prueba.

8. Revisa los riesgos de la cadena de suministro

Las pruebas indican que la memoria, el empaquetado, la energía, los materiales y los equipos de fabricación pueden convertirse en cuellos de botella. Además, el coste de diseñar nodos avanzados es elevado; el material estimó en unos 725 millones de dólares el coste de diseñar un chip con tecnología de 2 nanómetros, frente a 48 millones de dólares con 28 nanómetros.

  • Verifica la disponibilidad de aceleradores, memoria y componentes de interconexión.
  • Distingue entre los planes anunciados y la capacidad de producción real.
  • No consideres la financiación, la valoración o el anuncio comercial como pruebas suficientes de rendimiento o fiabilidad.

Conclusión práctica

Construye la decisión sobre la infraestructura en torno a la carga de trabajo, la topología y las restricciones eléctricas; después, equilibra la proximidad, la escalabilidad y el aprovechamiento de los recursos. La escalabilidad dentro del sistema puede ser adecuada para cargas sensibles a la latencia, la escalabilidad entre servidores puede adaptarse a clústeres más grandes, mientras que la arquitectura desagregada puede ser útil cuando se justifica el uso compartido selectivo de recursos. La velocidad máxima o el número de puertos por sí solos no bastan para juzgar la idoneidad del diseño.