A startup de inteligência artificial PrismML lançou seu modelo Bonsai 2 27B, que comprime o modelo Qwen3.8 27B, de código aberto da Alibaba, em um arquivo de apenas 5,9 gigabytes. A empresa afirma que o modelo comprimido alcança 98% das pontuações agregadas do modelo original nos testes de benchmark, com uma redução dos requisitos de memória de aproximadamente nove a dez vezes.
O novo tamanho torna possível executar o modelo em um computador pessoal e, possivelmente, em um smartphone avançado, em vez de depender totalmente de servidores em nuvem. Isso não significa que todo telefone será capaz de executá-lo na prática, pois a fonte apresenta a compatibilidade com telefones de forma probabilística, e o desempenho real depende do hardware e do software envolvidos na execução do modelo.
Como funciona a tecnologia de compressão?
A PrismML utiliza o que chama de pesos ternários. Os pesos do modelo são os valores que armazenam parte das informações aprendidas durante o treinamento e normalmente precisam de 16 bits por peso, segundo a explicação da empresa. A nova abordagem representa cada peso com apenas um de três valores: mais um, menos um ou zero. A redução do número de valores possíveis diminui significativamente o espaço necessário para armazenar o modelo.
A empresa é liderada por Babak Hassibi, professor do Caltech e especialista em técnicas de compressão, enquanto Ion Stoica atua como consultor. A lista de apoiadores inclui Khosla Ventures, Cerberus Capital e Caltech. A PrismML levantou uma rodada inicial de 22,25 milhões de dólares. Ela não é a única empresa trabalhando na compressão de grandes modelos de linguagem: a fonte também mencionou a Multiverse Computing como concorrente no setor.
Resultados melhores que os da versão anterior
O Bonsai 2 representa uma melhoria em relação à primeira versão do Bonsai, lançada pela empresa em março e que alcançou 95% das pontuações do modelo original, segundo informações da TechCrunch atribuídas à empresa. A PrismML afirma que a primeira versão foi baixada mais de 11 milhões de vezes, enquanto seus modelos menores registraram mais 2,6 milhões de downloads.
Mas a taxa de 98% não significa uma correspondência completa com o modelo original, nem prova, por si só, que a diferença restante não aparecerá em usos práticos. Hassibi reconhece que a compressão provavelmente deixará algum impacto no desempenho, e os testes de benchmark não refletem todas as tarefas do mundo real. O ambiente de software em que o modelo é executado também afeta sua precisão.
Por que esse avanço é importante?
Se a PrismML continuar reduzindo os modelos enquanto preserva a maior parte de suas capacidades, a execução local de modelos de raciocínio poderá se tornar mais viável. Isso permite processar dados no dispositivo do usuário em vez de enviá-los para a nuvem, o que pode favorecer a privacidade e reduzir a dependência de uma conexão externa, segundo o argumento de Stoica. No entanto, isso ainda não resolve as questões relacionadas ao consumo de energia, à velocidade de resposta e à compatibilidade dos dispositivos, nem prova que o modelo oferecerá o mesmo nível de desempenho em todos os cenários.
A empresa pretende aplicar a tecnologia de compressão a modelos muito maiores, e Hassibi afirmou que as próximas versões poderão estar na faixa de várias centenas de bilhões de parâmetros nos próximos meses. Ele acredita que modelos maiores poderão oferecer à compressão uma margem mais ampla para preservar suas capacidades, mas esse objetivo ainda é um plano futuro, não um resultado disponível até o momento. O relatório também mencionou rumores de conversas com a Apple, mas Hassibi se recusou a comentá-los; portanto, eles não podem ser considerados uma parceria ou um acordo anunciado.