A startup francesa Kog aposta que as unidades de processamento gráfico tradicionais usadas em data centers ainda não esgotaram suas capacidades e que otimizações de software de baixo nível podem aumentar o desempenho da inferência de modelos de IA sem a necessidade de novo hardware especializado. Essa aposta ocorre em um momento em que a velocidade e o custo da inferência se tornaram um dos principais gargalos para a expansão das aplicações de IA, especialmente dos fluxos de trabalho baseados em agentes.
A Kog apareceu na primeira página do Hacker News em maio, quando apresentou uma versão técnica inicial destinada a provar a possibilidade de alcançar uma velocidade muito alta na decodificação de solicitações individuais usando GPUs padrão já presentes nas empresas, como AMD MI300X e Nvidia H200. A demonstração não era voltada para as placas gráficas presentes em notebooks, um ponto que causou frustração a alguns observadores, mas atraiu claro interesse comercial; o CEO e único fundador da empresa, Gaël DelaLo, afirmou que a Kog recebeu 200 oportunidades comerciais concretas.
Engenharia de software como porta de entrada no mercado de inferência
A empresa espera que a engenharia de software seja um dos primeiros casos de uso do serviço Kog Inference Engine, conhecido pela sigla KIE. Usuários profissionais de ferramentas como o Claude Code às vezes enfrentam períodos de espera de horas antes de obter os resultados, enquanto a Anthropic reconhece que a velocidade tem valor financeiro e cobra mais por seu modo rápido.
A Kog tem como alvo clientes prejudicados por esses atrasos ao usar IA em tarefas profissionais. A empresa também conta com parceiros de design que permitem aos usuários criar jogos e aplicativos com um único prompt, nos quais resultados mais rápidos podem se transformar em receitas maiores, segundo DelaLo.
Mas as observações da empresa no mercado revelaram que os potenciais clientes ainda não estão dispostos a ajustar pequenos modelos por conta própria. Por isso, desde seu lançamento, a Kog se concentrou em acelerar modelos maiores, em resposta à demanda identificada, o que a coloca diante de um desafio muito maior do que a demonstração inicial.
De 3.000 tokens por segundo a modelos maiores
A Kog afirma que pretende alcançar uma inferência cerca de 30 vezes mais rápida em modelos de linguagem grandes. No entanto, a demonstração apresentada até agora alcançou 3.000 tokens por solicitação por segundo usando um modelo pequeno personalizado de cerca de 2 bilhões de parâmetros, o Laneformer 2B, que se tornou open source.
DelaLo acredita que a mesma abordagem pode funcionar com modelos de linguagem grandes, embora o tamanho desses modelos represente um desafio para o hardware de inferência. Segundo sua visão, a crença de que as GPUs são inadequadas para a decodificação se tornou uma concepção equivocada, porque as gerações mais recentes dessas unidades oferecem maior largura de banda de memória, que só precisa ser aproveitada por meio de software.
A Kog não trabalha sozinha nessa direção. A empresa francesa ZML lançou softwares independentes de hardware que vão além do CUDA da Nvidia para oferecer suporte à inferência rápida em chips concorrentes. Mas DelaLo descreve a abordagem da Kog como mais próxima da pesquisa do laboratório Hazy Research, da Universidade Stanford, com foco mais profundo na aceleração de GPUs.
Uma abordagem de baixo nível com alto custo de engenharia
O foco da Kog está relacionado à formação de seu fundador em física da matéria condensada na École Polytechnique, na França, e depois ao seu trabalho em segurança cibernética ofensiva, ou hacking ético. DelaLo afirmou que o estudo da física reforçou nele a ideia de compreender as leis da natureza e as leis de funcionamento de uma GPU para aproveitá-la ao máximo, enquanto o trabalho com hacking lhe ensinou a fazer engenharia reversa em um nível muito baixo, chegando à linguagem assembly e ao código binário, para alcançar objetivos para os quais o sistema originalmente não havia sido projetado.
Mas essa abordagem é prática e lenta ao mesmo tempo. DelaLo afirma que a empresa dedica várias semanas ou até meses a cada nova GPU para se aprofundar em seus detalhes e realizar pesquisas de engenharia sobre ela. Com uma equipe de 11 pessoas, isso limita o número de chips que a Kog consegue suportar no futuro próximo.
O próximo passo decisivo
No longo prazo, a Kog quer transformar sua metodologia em pipelines baseados em agentes, permitindo-lhe oferecer suporte a um número maior de chips e modelos. Isso pode lhe dar um impulso ligado à soberania tecnológica europeia, em um momento em que a Europa busca desenvolver suas próprias capacidades nessa área. A empresa conta com o apoio da Scaleway, além do apoio da Bpifrance e do programa French Tech 2030. O fundo Varsity VC, que inclui o ex-sócio do fundador da Kog, Kamel Zeroual, liderou conjuntamente a rodada seed da empresa.
Ainda assim, o teste mais importante continua sendo a capacidade da Kog de transferir seus resultados do modelo Laneformer 2B para um modelo de linguagem grande real. DelaLo afirmou que a empresa espera executar o primeiro modelo principal a uma velocidade dez vezes maior em setembro e, após começar uma demonstração para atrair clientes, espera levantar uma rodada de financiamento Series A. Portanto, as promessas da Kog ainda precisam de validação prática nos modelos que os clientes realmente querem usar, e não em um modelo pequeno personalizado para a demonstração.