La startup francesa Kog apuesta por que las unidades de procesamiento gráfico tradicionales utilizadas en los centros de datos aún no han agotado sus capacidades y que las optimizaciones de software de bajo nivel pueden aumentar el rendimiento de la inferencia de modelos de inteligencia artificial sin necesidad de nuevo hardware especializado. Esta apuesta llega en un momento en que la velocidad y el coste de la inferencia se han convertido en un importante cuello de botella para la expansión de las aplicaciones de inteligencia artificial, especialmente en los flujos de trabajo basados en agentes.
Kog apareció en la portada de Hacker News en mayo, cuando presentó una primera versión técnica destinada a demostrar la posibilidad de alcanzar una velocidad muy alta en la decodificación de solicitudes individuales utilizando GPU estándar ya presentes en las empresas, como la AMD MI300X y la Nvidia H200. La demostración no estaba dirigida a las unidades gráficas de los ordenadores portátiles, un punto que decepcionó a algunos seguidores, pero atrajo un claro interés comercial; el director ejecutivo y fundador único de la empresa, Gaël Delalou, afirmó que Kog había recibido 200 oportunidades comerciales concretas.
El software de ingeniería como puerta de entrada al mercado de la inferencia
La empresa espera que la ingeniería de software sea uno de los primeros casos de uso de Kog Inference Engine, conocida por las siglas KIE. Los usuarios profesionales de herramientas como Claude Code se enfrentan a veces a esperas de varias horas antes de obtener resultados, mientras que Anthropic reconoce que la velocidad tiene valor financiero y cobra un precio más alto por su modalidad rápida.
Kog se dirige a clientes a los que estos retrasos dificultan el uso de la inteligencia artificial en tareas profesionales. La empresa también cuenta con socios de diseño que permiten a los usuarios crear juegos y aplicaciones mediante una sola instrucción, de modo que unos resultados más rápidos pueden convertirse en mayores ingresos, según explicó Delalou.
Sin embargo, las observaciones de la empresa en el mercado revelaron que los posibles clientes todavía no están preparados para ajustar por sí mismos modelos pequeños. Por ello, desde su lanzamiento Kog se ha centrado en acelerar modelos más grandes, en respuesta a la demanda que detectó, lo que la sitúa ante un desafío mucho mayor que el de la demostración inicial.
De 3.000 tokens por segundo a modelos más grandes
Kog afirma que aspira a lograr una inferencia aproximadamente 30 veces más rápida en modelos de lenguaje de gran tamaño. No obstante, la demostración presentada hasta ahora alcanzó 3.000 tokens por solicitud por segundo utilizando un modelo pequeño personalizado de unos 2.000 millones de parámetros, Laneformer 2B, que pasó a ser de código abierto.
Delalou considera que el mismo enfoque puede funcionar con modelos de lenguaje grandes, aunque el tamaño de estos modelos supone un desafío para el hardware de inferencia. Según su visión, la creencia de que las GPU no son adecuadas para la decodificación se ha convertido en una idea errónea, porque las generaciones más recientes de estas unidades ofrecen un mayor ancho de banda de memoria, que solo necesita aprovecharse mediante software.
Kog no trabaja sola en esta dirección. La empresa francesa ZML ha lanzado software independiente del hardware que va más allá de CUDA, de Nvidia, para permitir una inferencia rápida en chips de la competencia. Sin embargo, Delalou describe el enfoque de Kog como más cercano a la investigación del laboratorio Hazy Research de la Universidad de Stanford, con un énfasis más profundo en la aceleración de las GPU.
Un enfoque de bajo nivel con un elevado coste de ingeniería
El enfoque de Kog está relacionado con la formación de su fundador en física de la materia condensada en la Escuela Politécnica de Francia y con su posterior trabajo en ciberseguridad ofensiva, o piratería ética. Delalou afirmó que el estudio de la física reforzó en él la idea de comprender las leyes de la naturaleza y las leyes de funcionamiento de una GPU para aprovecharla al máximo, mientras que el trabajo de piratería le enseñó a realizar ingeniería inversa a un nivel muy bajo, hasta llegar al lenguaje ensamblador y al código binario, para alcanzar objetivos para los que el sistema no había sido diseñado originalmente.
Sin embargo, este enfoque es práctico y lento al mismo tiempo. Delalou afirma que la empresa dedica varias semanas o incluso meses a cada nueva GPU para profundizar en sus detalles y realizar investigaciones de ingeniería sobre ella. Con un equipo de 11 personas, esto limita el número de chips que Kog puede admitir en un futuro próximo.
El siguiente paso decisivo
A largo plazo, Kog quiere convertir su metodología en cadenas de procesamiento basadas en agentes, lo que le permitiría admitir un número mayor de chips y modelos. Esto podría darle un impulso relacionado con la soberanía tecnológica europea, en un momento en que Europa trata de desarrollar sus propias capacidades en este ámbito. La empresa cuenta con el respaldo de Scaleway, así como con el apoyo de Bpifrance y del programa French Tech 2030. El fondo Varsity VC, que incluye al antiguo socio del fundador de Kog, Kamel Zeroual, codirigió la ronda de financiación inicial de la empresa.
Con todo, la prueba más importante sigue siendo la capacidad de Kog para trasladar sus resultados del modelo Laneformer 2B a un modelo de lenguaje grande real. Delalou afirmó que la empresa espera ejecutar el primer modelo principal a una velocidad diez veces superior en septiembre y que, tras iniciar una demostración destinada a atraer clientes, espera recaudar una ronda de financiación Series A. Por tanto, las promesas de Kog todavía necesitan una validación práctica en los modelos que los clientes realmente quieren utilizar, y no en un modelo pequeño diseñado para la demostración.