Компания Subquadratic вступила в гонку моделей принятия решений, выпустив SubQ Snap в режиме публичного предварительного доступа. Компания заявляет, что модель способна обрабатывать до 384 тысяч токенов текста и изображений в одном запросе. Это в 12 раз больше ограничения контекста в 32 тысячи токенов у модели Jev от TypeSafe, согласно проведённому компанией сравнению.
Subquadratic утверждает, что Snap может обработать 100 тысяч токенов и принять решение примерно за одну секунду, позволяя ИИ-агентам проверять большие фрагменты репозиториев кода, документации и журналов взаимодействий перед выбором следующего действия.
Что делают модели принятия решений?
В отличие от больших языковых моделей, которые генерируют тексты и код, модели принятия решений обычно выбирают ответ из заранее определённого набора. Это может включать выбор следующего инструмента для интеллектуального агента, определение файлов, связанных с проблемой, или установление того, успешно ли прошёл тест.
По мнению Alex Whedon, генерального директора и сооснователя Subquadratic, такие модели не должны ограничиваться оценкой результатов языковых моделей или выбором наиболее подходящей модели для задачи. Они также должны выполнять работу, для которой можно отказаться от использования более дорогих больших языковых моделей.
Более длинный контекст и внутренние тесты
Snap использует архитектуру, которую компания называет Subquadratic Sparse Attention. По словам компании, она обеспечивает линейный рост требований к механизму внимания с увеличением длины контекста вместо квадратичного роста, распространённого в трансформерах. Компания сообщает, что модель тестировалась на объёме до миллиона токенов, однако в настоящее время публичная предварительная версия ограничена 384 тысячами токенов из-за доступных вычислительных ресурсов; поддержка миллиона токенов требует примерно в 2,6 раза больше вычислительных ресурсов, согласно Whedon.
В модифицированной версии теста RULER на извлечение информации Snap набрал от 96,3 до 99,8 балла на входных данных объёмом от 32 тысяч до миллиона токенов. В тесте Decision LCR на рассуждение по нескольким документам он набрал 74,0 против 48,0 у Jev, которая обрабатывала документы пакетами. Кроме того, Snap набрал 61,7 против 57,9 в Decision Index 0.2.1 и показал результат 82,9% против 76,0% у Jev в тесте Nimble от Bespoke Labs.
По итогам 16 тестов, предназначенных для корпоративных задач, Subquadratic заявляет, что Snap превзошёл Jev в 13 тестах со средним результатом 67,6 против 61,6, но уступил в трёх тестах, включая When2Call, который измеряет, должен ли агент вызвать инструмент, запросить уточнение, ответить или отказаться.
Что меняется на практике?
Больший контекст может уменьшить необходимость в разбиении документов, суммировании и точном поиске, когда данные укладываются в ограничение в 384 тысячи токенов. Whedon говорит, что это позволяет загружать полные документы или взаимосвязанные программные модули вместо отбора небольших фрагментов, из-за которого может быть исключена важная информация.
Однако опубликованные результаты не являются независимой оценкой: все они были получены внутри Subquadratic, хотя компания предоставила код тестов длинного контекста для повторного проведения. Кроме того, Snap отсутствует в последней таблице рейтинга Decision Index, поскольку текущая версия ориентирована на модели с открытыми весами и включает частные тесты, что не позволяет напрямую сравнить результат Snap в версии 0.2.1 с более свежими результатами.
Доступность и стоимость
Snap сейчас доступна в режиме публичного предварительного доступа по цене 0,05 доллара за миллион входных токенов, без платы за выходные данные. Компания оценивает стоимость обработки 100 тысяч токенов примерно в полцента, тогда как использование полного окна в 384 тысячи токенов стоит около двух центов.
Subquadratic подчёркивает, что поиск не исчезнет, поскольку корпоративные наборы данных превышают доступный объём контекста. Однако компания рассчитывает, что более широкое окно позволит извлекать целые документы или модули вместо зависимости от точного и хрупкого отбора фрагментов.