Together AI ha revelado una nueva innovación técnica llamada Together Compiler, un sistema avanzado que se basa en agentes de programación de inteligencia artificial (AI Coding Agents) para asumir la tarea de optimizar el código de las unidades de procesamiento gráfico (GPU) que ejecutan su infraestructura de inferencia. Este sistema tiene como objetivo automatizar los procesos de ajuste de rendimiento que antes requerían días o semanas de trabajo manual y tedioso por parte de los ingenieros humanos.
Automatización completa bajo supervisión humana
El sistema Together Compiler genera, prueba y optimiza núcleos de procesamiento gráfico (GPU kernels) sin la dirección directa de los ingenieros para cada experimento individual. La empresa explicó que el ciclo de optimización funciona de manera completamente autónoma, permitiendo que el sistema logre ganancias tangibles de rendimiento en una sola noche. Sin embargo, Together AI enfatizó que sigue un enfoque de "humano en el bucle" (Human-in-the-loop), donde las evaluaciones finales y el despliegue real en el entorno de producción siguen dependiendo de la aprobación de un ingeniero humano que revisa los cambios antes de su adopción.
El desafío de la aceleración de los modelos de inteligencia artificial
Este paso surge como respuesta al gran desafío que representa el ritmo acelerado del lanzamiento de nuevos modelos de inteligencia artificial. Según los datos de la empresa, el 80% del tráfico a través de la plataforma OpenRouter proviene actualmente de modelos que fueron lanzados en los últimos tres meses. Dado que cada modelo tiene diferentes requisitos técnicos, el código optimizado para un modelo específico puede no funcionar con la misma eficiencia en otro, lo que ejerce una presión enorme sobre los ingenieros para mantenerse al día con estos cambios de forma manual.
Un salto en la velocidad de experimentación y rendimiento
Together AI logró innovar con un método para acelerar significativamente el proceso de pruebas; en lugar de reiniciar el motor de inferencia cada vez que el agente de programación cambia el código, Together Compiler carga el código nuevo directamente en el motor mientras este se encuentra en ejecución. Esta medida redujo el tiempo de inicialización de aproximadamente 467 segundos a solo 9 segundos, permitiendo que el sistema realice 252 veces más experimentos de optimización en comparación con los sistemas actuales.
En cuanto a los resultados prácticos, la empresa registró una mejora en el rendimiento de inferencia (Inference Throughput) de hasta 2.6 veces en comparación con las configuraciones estándar publicadas, dependiendo del tipo de modelo y del hardware utilizado. Actualmente, el sistema procesa billones de tokens (Tokens) al día a través de la infraestructura de la empresa.
¿Qué cambia prácticamente para los desarrolladores?
Para los desarrolladores y las empresas que utilizan los servicios de Together AI, este avance no significa necesariamente una reducción directa de precios, sino la obtención de un mayor rendimiento y eficiencia por el mismo costo. Los beneficios prácticos se resumen en los siguientes puntos:
- Eficiencia del hardware: extraer la máxima potencia posible de las GPU disponibles, reduciendo el desperdicio de recursos.
- Velocidad de adaptación: la capacidad de ejecutar los modelos más recientes con el mayor rendimiento posible tan pronto como se lancen, sin esperar largos ciclos de optimización manual.
- Fiabilidad del rendimiento: gracias a la realización de cientos de experimentos automatizados, el sistema alcanza soluciones de software que un ingeniero humano podría no descubrir debido a la escasez de tiempo.
Together Compiler representa un cambio importante en la gestión de la infraestructura de inteligencia artificial, donde la inteligencia artificial ya no es solo un producto final, sino la herramienta principal para optimizar el hardware y el software en el que se ejecuta, cerrando el círculo técnico hacia sistemas más autónomos y autooptimizado.