Das Unternehmen Subquadratic ist mit der öffentlichen Vorschau von SubQ Snap in das Rennen um Entscheidungsmodelle eingestiegen. Nach eigenen Angaben kann das Modell in einer einzigen Anfrage bis zu 384.000 Tokens aus Texten und Bildern verarbeiten. Das entspricht dem 12-Fachen des Kontextlimits von 32.000 Tokens für das Jev-Modell von TypeSafe, so der von dem Unternehmen vorgenommene Vergleich.
Subquadratic zufolge kann Snap 100.000 Tokens verarbeiten und innerhalb von etwa einer Sekunde eine Entscheidung treffen. Dadurch können KI-Agenten große Teile von Code-Repositories, Dokumentationen und Interaktionsprotokollen prüfen, bevor sie die nächste Aktion bestimmen.
Was leisten Entscheidungsmodelle?
Anders als Large Language Models, die Texte und Code generieren, wählen Entscheidungsmodelle normalerweise eine Antwort aus einer zuvor festgelegten Menge aus. Dazu kann die Auswahl des nächsten Tools für einen intelligenten Agenten, die Bestimmung der mit einem Problem verbundenen Dateien oder die Entscheidung gehören, ob ein Test erfolgreich war.
Alex Whedon, CEO und Mitgründer von Subquadratic, ist der Ansicht, dass diese Modelle nicht auf die Bewertung von Ausgaben von Sprachmodellen oder die Auswahl des für eine Aufgabe am besten geeigneten Modells beschränkt sein sollten. Stattdessen sollten sie Aufgaben übernehmen, bei denen auf den Einsatz teurerer Large Language Models verzichtet werden kann.
Längerer Kontext und interne Tests
Snap basiert auf einer von dem Unternehmen als Subquadratic Sparse Attention bezeichneten Architektur. Nach Angaben des Unternehmens lässt sie den Aufwand für die Attention linear mit der Kontextlänge wachsen, anstatt quadratisch wie bei Transformern üblich. Das Unternehmen erklärt, das Modell sei bis zu einer Million Tokens getestet worden. Aufgrund der verfügbaren Rechenkapazität ist die öffentliche Vorschau derzeit jedoch auf 384.000 Tokens begrenzt; die Unterstützung von einer Million Tokens erfordert laut Whedon etwa das 2,6-Fache an Rechenressourcen.
In einer modifizierten Version des RULER-Tests zur Informationsabfrage erzielte Snap bei Eingaben zwischen 32.000 und einer Million Tokens Werte zwischen 96,3 und 99,8. Im Decision-LCR-Test zum Schlussfolgern über mehrere Dokumente hinweg erreichte Snap 74,0 gegenüber 48,0 für Jev, das die Dokumente stapelweise verarbeitete. Im Decision Index 0.2.1 erzielte Snap außerdem 61,7 gegenüber 57,9 und im Nimble-Test von Bespoke Labs 82,9 % gegenüber 76,0 % für Jev.
In 16 speziell für Unternehmen entwickelten Tests gibt Subquadratic an, dass Snap in 13 Tests mit einem Durchschnitt von 67,6 gegenüber 61,6 für Jev überlegen war. In drei Tests unterlag das Modell jedoch, darunter When2Call, das die Entscheidung des Agenten misst, ob ein Tool aufgerufen, eine Klarstellung angefordert, geantwortet oder die Anfrage abgelehnt werden soll.
Was ändert sich in der Praxis?
Der größere Kontext könnte den Bedarf an Dokumentaufteilung, Zusammenfassung und präziser Abfrage verringern, wenn sich die Daten innerhalb des Limits von 384.000 Tokens befinden. Whedon zufolge können dadurch vollständige Dokumente oder miteinander verbundene Codeeinheiten eingegeben werden, anstatt kleine Ausschnitte auszuwählen, durch die wichtige Informationen möglicherweise ausgeschlossen werden.
Die veröffentlichten Ergebnisse stellen jedoch keine unabhängige Bewertung dar. Alle Ergebnisse wurden intern von Subquadratic erstellt, obwohl das Unternehmen den Code für die Tests mit langem Kontext zur Wiederholung der Tests bereitstellt. Außerdem ist Snap nicht in der neuesten Rangliste des Decision Index enthalten, da sich die aktuelle Version auf Modelle mit offenen Gewichten konzentriert und proprietäre Tests umfasst. Dadurch ist ein direkter Vergleich zwischen Snaps Ergebnis in Version 0.2.1 und den neueren Ergebnissen nicht möglich.
Verfügbarkeit und Kosten
Snap ist derzeit als öffentliche Vorschau zu einem Preis von 0,05 US-Dollar pro einer Million Eingabetokens verfügbar; für Ausgaben fallen keine Gebühren an. Das Unternehmen schätzt die Kosten für die Verarbeitung von 100.000 Tokens auf etwa einen halben Cent, während die vollständige Nutzung eines Kontextfensters von 384.000 Tokens etwa zwei Cent kostet.
Subquadratic erklärt, dass Retrieval nicht verschwinden werde, da Unternehmensdatensätze größer seien als die verfügbare Kontextkapazität. Das Unternehmen setzt jedoch darauf, dass ein größeres Fenster die Abfrage vollständiger Dokumente oder Einheiten ermöglicht, anstatt auf die Auswahl präziser und fragiler Ausschnitte angewiesen zu sein.