La société Subquadratic est entrée dans la course aux modèles de décision avec le lancement de SubQ Snap en préversion publique, affirmant que le modèle peut traiter jusqu’à 384 000 tokens de texte et d’images dans une seule requête. Cela représente 12 fois la limite de contexte de 32 000 tokens du modèle Jev de TypeSafe, selon la comparaison réalisée par l’entreprise.
Subquadratic affirme que Snap peut traiter 100 000 tokens et prendre une décision en environ une seconde, permettant ainsi aux agents d’intelligence artificielle d’examiner de grandes parties de dépôts de code, de documents et de journaux d’interaction avant de déterminer l’action suivante.
Que font les modèles de décision ?
Contrairement aux grands modèles de langage, qui génèrent du texte et du code, les modèles de décision sélectionnent généralement une réponse parmi un ensemble prédéfini. Il peut s’agir de choisir l’outil suivant pour un agent intelligent, de déterminer les fichiers liés à un problème ou de décider si le test a réussi.
Alex Whedon, directeur général et cofondateur de Subquadratic, estime que ces modèles ne devraient pas se limiter à évaluer les sorties des modèles de langage ou à choisir le modèle le plus adapté à la tâche, mais qu’ils devraient prendre en charge des activités pouvant éviter le recours aux grands modèles de langage plus coûteux.
Un contexte plus long et des tests internes
Snap repose sur une architecture que l’entreprise appelle Subquadratic Sparse Attention, qui, selon elle, fait croître linéairement les besoins liés à l’attention avec la longueur du contexte, plutôt que de manière quadratique comme c’est généralement le cas dans les transformeurs. L’entreprise indique que le modèle a été testé jusqu’à un million de tokens, mais que la préversion publique est actuellement limitée à 384 000 tokens en raison de la capacité de calcul disponible ; la prise en charge d’un million de tokens nécessite environ 2,6 fois plus de ressources de calcul, selon Whedon.
Dans une version modifiée du test RULER de récupération d’informations, Snap a obtenu des scores compris entre 96,3 et 99,8 avec des entrées allant de 32 000 à un million de tokens. Dans le test Decision LCR de raisonnement à travers plusieurs documents, il a obtenu 74,0 contre 48,0 pour Jev, qui traitait les documents par lots. Snap a également obtenu 61,7 contre 57,9 dans Decision Index 0.2.1, ainsi que 82,9 % contre 76,0 % pour Jev dans le test Nimble de Bespoke Labs.
Sur 16 tests conçus pour les entreprises, Subquadratic affirme que Snap a obtenu de meilleurs résultats dans 13 tests, avec une moyenne de 67,6 contre 61,6 pour Jev, mais qu’il a perdu dans trois tests, dont When2Call, qui mesure la décision de l’agent entre appeler un outil, demander des précisions, répondre ou refuser.
Qu’est-ce qui change en pratique ?
Un contexte plus large pourrait réduire le besoin de découper les documents, de les résumer et d’effectuer une récupération précise lorsque les données restent dans la limite de 384 000 tokens. Whedon affirme que cela permet d’intégrer des documents complets ou des modules logiciels interdépendants, plutôt que de sélectionner de petits extraits susceptibles d’exclure des informations importantes.
Les résultats publiés ne constituent toutefois pas une évaluation indépendante ; ils ont tous été produits en interne par Subquadratic, bien que l’entreprise mette à disposition le code des tests de contexte long afin de permettre leur reproduction. Snap ne figure pas non plus dans le dernier classement de Decision Index, car la version actuelle se concentre sur les modèles à poids ouverts et comprend des tests propriétaires, ce qui empêche une comparaison directe entre le score de Snap dans la version 0.2.1 et les résultats plus récents.
Disponibilité et coût
Snap est actuellement disponible en préversion publique au prix de 0,05 dollar par million de tokens d’entrée, sans frais pour les sorties. L’entreprise estime que le traitement de 100 000 tokens coûte environ un demi-cent, tandis que l’utilisation complète d’une fenêtre de 384 000 tokens coûte environ deux cents.
Subquadratic précise que la récupération ne disparaîtra pas, car les ensembles de données des entreprises dépassent la capacité de contexte disponible. L’entreprise mise toutefois sur le fait qu’une fenêtre plus grande permettra de récupérer des documents ou des modules complets, plutôt que de dépendre de la sélection d’extraits précis et fragiles.