La empresa Subquadratic entró en la carrera de los modelos de decisión con el lanzamiento de SubQ Snap en vista previa pública, afirmando que el modelo puede procesar hasta 384.000 tokens de texto e imágenes en una sola solicitud. Esto equivale a 12 veces el límite de contexto de 32.000 tokens del modelo Jev de TypeSafe, según la comparación realizada por la empresa.
Subquadratic afirma que Snap puede procesar 100.000 tokens y emitir una decisión en aproximadamente un segundo, lo que permite a los agentes de IA examinar grandes partes de repositorios de código, documentos y registros de interacción antes de determinar la siguiente acción.
¿Qué hacen los modelos de decisión?
A diferencia de los modelos de lenguaje grandes, que generan texto y código, los modelos de decisión suelen elegir una respuesta de un conjunto predefinido. Esto puede incluir seleccionar la siguiente herramienta para un agente inteligente, identificar los archivos relacionados con un problema o determinar si una prueba ha tenido éxito.
Alex Whedon, director ejecutivo y cofundador de Subquadratic, considera que estos modelos no deberían limitarse a evaluar los resultados de los modelos de lenguaje o seleccionar el modelo más adecuado para la tarea, sino que también deberían encargarse de trabajos en los que se pueda prescindir del uso de modelos de lenguaje grandes más costosos.
Contexto más extenso y pruebas internas
Snap se basa en una arquitectura que la empresa denomina Subquadratic Sparse Attention, y afirma que hace que los requisitos de atención crezcan linealmente con la longitud del contexto, en lugar del crecimiento cuadrático habitual de los transformadores. La empresa señala que el modelo se probó hasta un millón de tokens, pero que la vista previa pública está limitada actualmente a 384.000 tokens debido a la capacidad de computación disponible; admitir un millón de tokens requiere aproximadamente 2,6 veces más recursos informáticos, según Whedon.
En una versión modificada de la prueba RULER de recuperación de información, Snap obtuvo entre 96,3 y 99,8 con entradas de entre 32.000 y un millón de tokens. En la prueba Decision LCR de razonamiento a través de múltiples documentos, obtuvo 74,0 frente a 48,0 de Jev, que procesó los documentos por lotes. Snap también obtuvo 61,7 frente a 57,9 en Decision Index 0.2.1, y alcanzó el 82,9 % frente al 76,0 % de Jev en la prueba Nimble de Bespoke Labs.
En 16 pruebas específicas para empresas, Subquadratic afirma que Snap superó a Jev en 13, con una media de 67,6 frente a 61,6, pero perdió en tres pruebas, incluida When2Call, que mide la decisión del agente entre llamar a una herramienta, solicitar una aclaración, responder o rechazar.
¿Qué cambia en la práctica?
Un contexto más amplio puede reducir la necesidad de dividir documentos, resumirlos y realizar una recuperación precisa cuando los datos se encuentran dentro del límite de 384.000 tokens. Whedon afirma que esto permite introducir documentos completos o módulos de software relacionados, en lugar de seleccionar pequeños fragmentos que podrían excluir información importante.
Sin embargo, los resultados publicados no constituyen una evaluación independiente; todos fueron producidos internamente por Subquadratic, aunque la empresa ha puesto a disposición el código de las pruebas de contexto largo para repetirlas. Además, Snap no aparece en la tabla de clasificación más reciente de Decision Index, porque la versión actual se centra en modelos con pesos abiertos e incluye pruebas privadas, lo que impide una comparación directa entre el resultado de Snap en la versión 0.2.1 y los resultados más recientes.
Disponibilidad y coste
Snap está disponible actualmente en vista previa pública a un precio de 0,05 dólares por cada millón de tokens de entrada, sin cargos por las salidas. La empresa estima que procesar 100.000 tokens cuesta aproximadamente medio centavo, mientras que utilizar una ventana completa de 384.000 tokens cuesta alrededor de dos centavos.
Subquadratic aclara que la recuperación no desaparecerá, porque los conjuntos de datos empresariales son más grandes que la capacidad de contexto disponible. Sin embargo, la empresa apuesta por que una ventana más amplia permitirá recuperar documentos o módulos completos, en lugar de depender de la selección de fragmentos precisos y frágiles.