A Subquadratic entrou na corrida de modelos de decisão com o lançamento do SubQ Snap em visualização pública, afirmando que o modelo pode processar até 384 mil tokens de texto e imagens em uma única solicitação. Isso equivale a 12 vezes o limite de contexto de 32 mil tokens do modelo Jev da TypeSafe, de acordo com a comparação realizada pela empresa.
A Subquadratic afirma que o Snap pode processar 100 mil tokens e emitir uma decisão em cerca de um segundo, permitindo que os agentes de inteligência artificial examinem grandes partes de repositórios de código, documentação e registros de interação antes de determinar a próxima ação.
O que fazem os modelos de decisão?
Ao contrário dos grandes modelos de linguagem que geram textos e códigos, os modelos de decisão geralmente escolhem uma resposta de um conjunto predeterminado. Isso pode incluir a seleção da próxima ferramenta para um agente inteligente, a identificação de arquivos relacionados a um problema ou a determinação de se um teste foi bem-sucedido.
Alex Whedon, CEO e cofundador da Subquadratic, acredita que esses modelos não devem se limitar a avaliar as saídas de modelos de linguagem ou a selecionar o modelo mais adequado para a tarefa, mas devem assumir trabalhos que possam dispensar o uso de grandes modelos de linguagem de maior custo.
Contexto mais longo e testes internos
O Snap é baseado em uma arquitetura chamada pela empresa de Subquadratic Sparse Attention, que, segundo ela, faz com que os requisitos de atenção cresçam linearmente com o comprimento do contexto, em vez do crescimento quadrático comum nos transformadores. A empresa menciona que o modelo foi testado em até um milhão de tokens, mas a visualização pública está atualmente limitada a 384 mil tokens devido à capacidade de computação disponível; o suporte a um milhão de tokens exige cerca de 2,6 vezes mais recursos computacionais, de acordo com Whedon.
Em uma versão modificada do teste RULER para recuperação de informações, o Snap pontuou entre 96,3 e 99,8 com entradas que variaram de 32 mil a um milhão de tokens. No teste Decision LCR de raciocínio em múltiplos documentos, pontuou 74,0 contra 48,0 do Jev, que processou os documentos em lotes. O Snap também pontuou 61,7 contra 57,9 no Decision Index 0.2.1, e alcançou 82,9% contra 76,0% do Jev no teste Nimble da Bespoke Labs.
Em 16 testes voltados para empresas, a Subquadratic afirma que o Snap superou os concorrentes em 13 testes, com uma média de 67,6 contra 61,6 do Jev, mas perdeu em três testes, incluindo o When2Call, que mede a decisão do agente entre chamar uma ferramenta, solicitar esclarecimentos, responder ou recusar.
O que muda na prática?
O contexto maior pode reduzir a necessidade de fragmentação de documentos, sumarização e recuperação precisa quando os dados estiverem dentro do limite de 384 mil tokens. Whedon afirma que isso permite a introdução de documentos completos ou módulos de código interconectados, em vez de selecionar pequenos trechos que podem excluir informações importantes.
No entanto, os resultados publicados não são uma avaliação independente; todos foram produzidos internamente pela Subquadratic, embora a empresa tenha disponibilizado o código dos testes de contexto longo para novos testes. Além disso, o Snap não está presente no painel de classificação mais recente do Decision Index, pois a versão atual se concentra em modelos de pesos abertos e inclui testes privados, o que impede a comparação direta entre o resultado do Snap na versão 0.2.1 e os resultados mais recentes.
Disponibilidade e custo
O Snap está atualmente disponível em visualização pública ao preço de 0,05 dólar por milhão de tokens de entrada, sem taxas sobre as saídas. A empresa estima o custo de processamento de 100 mil tokens em cerca de meio centavo, enquanto o custo de utilização da janela completa de 384 mil tokens é de aproximadamente dois centavos.
A Subquadratic esclarece que a recuperação não vai desaparecer, pois os conjuntos de dados corporativos são maiores do que a capacidade de contexto disponível. No entanto, a empresa aposta que uma janela maior permitirá a recuperação de documentos ou módulos inteiros, em vez de depender da seleção de trechos precisos e frágeis.