Subquadratic, 최대 384,000토큰의 컨텍스트를 지원하는 의사결정 모델 Snap 공개

Subquadratic은 공개 프리뷰로 SubQ Snap을 출시하며 의사결정 모델 경쟁에 뛰어들었다. 회사는 이 모델이 단일 요청에서 최대 384,000토큰의 텍스트와 이미지를 처리할 수 있다고 밝혔다. 회사가 실시한 비교에 따르면 이는 TypeSafe의 Jev 모델이 지원하는 32,000토큰 컨텍스트 한도의 12배에 해당한다.

Subquadratic은 Snap이 100,000토큰을 처리하고 약 1초 안에 결정을 내릴 수 있다고 말한다. 이에 따라 AI 에이전트는 다음 행동을 결정하기 전에 대규모 코드 저장소, 문서 및 상호작용 로그를 검토할 수 있다.

의사결정 모델은 무엇을 하는가?

텍스트와 코드를 생성하는 대규모 언어 모델과 달리, 의사결정 모델은 일반적으로 사전에 정해진 선택지 중 하나를 고른다. 여기에는 지능형 에이전트가 사용할 다음 도구를 선택하거나, 문제와 관련된 파일을 지정하거나, 테스트가 성공했는지를 판단하는 일이 포함될 수 있다.

Subquadratic의 최고경영자이자 공동 창업자인 Alex Whedon은 이러한 모델이 언어 모델의 출력을 평가하거나 작업에 가장 적합한 모델을 선택하는 데 그쳐서는 안 되며, 비용이 더 높은 대규모 언어 모델을 사용하지 않고도 수행할 수 있는 작업을 맡아야 한다고 본다.

더 긴 컨텍스트와 내부 테스트

Snap은 회사가 Subquadratic Sparse Attention이라고 부르는 아키텍처를 기반으로 한다. 회사는 이 아키텍처가 트랜스포머에서 일반적인 이차적 증가 대신 컨텍스트 길이에 따라 어텐션 요구량이 선형적으로 증가하도록 만든다고 말한다. 회사에 따르면 이 모델은 최대 100만 토큰까지 테스트됐지만, 현재 공개 프리뷰는 이용 가능한 컴퓨팅 성능 때문에 384,000토큰으로 제한된다. Whedon에 따르면 100만 토큰을 지원하려면 약 2.6배의 컴퓨팅 자원이 필요하다.

정보 검색을 위한 수정된 RULER 테스트에서 Snap은 32,000토큰에서 100만 토큰에 이르는 입력으로 96.3~99.8점을 기록했다. 여러 문서에 걸친 추론을 평가하는 Decision LCR 테스트에서는 Jev가 문서를 배치 단위로 처리한 가운데 Snap이 74.0점, Jev가 48.0점을 기록했다. 또한 Decision Index 0.2.1에서는 Snap이 61.7점, Jev가 57.9점을 기록했으며, Bespoke Labs의 Nimble 테스트에서는 Snap이 82.9%로 Jev의 76.0%를 앞섰다.

기업용으로 설계된 16개 테스트에서 Subquadratic은 Snap이 13개 테스트에서 평균 67.6점으로 Jev의 61.6점을 앞섰다고 말한다. 그러나 Snap은 에이전트가 도구를 호출할지, 설명을 요청할지, 답변할지 또는 거부할지를 결정하는 When2Call을 포함한 3개 테스트에서는 패했다.

실제로 무엇이 달라지는가?

데이터가 384,000토큰 한도 내에 있을 경우 더 큰 컨텍스트는 문서 분할, 요약 및 정밀 검색의 필요성을 줄일 수 있다. Whedon은 이를 통해 중요한 정보를 제외할 수 있는 작은 발췌문을 선별하는 대신 전체 문서나 서로 연결된 코드 모듈을 입력할 수 있다고 말한다.

그러나 공개된 결과는 독립적인 평가가 아니다. 모든 결과가 Subquadratic에 의해 내부적으로 생성됐기 때문이다. 다만 회사는 재현을 위해 장문 컨텍스트 테스트 코드를 제공하고 있다. 또한 현재 버전이 오픈 웨이트 모델에 초점을 맞추고 비공개 테스트를 포함하기 때문에 Snap은 최신 Decision Index 순위표에 포함되지 않았다. 따라서 Snap의 0.2.1 버전 결과와 최신 결과를 직접 비교할 수 없다.

이용 가능 여부와 비용

Snap은 현재 공개 프리뷰로 제공되며 입력 100만 토큰당 0.05달러이고 출력에는 요금이 부과되지 않는다. 회사는 100,000토큰을 처리하는 비용을 약 0.5센트, 384,000토큰의 전체 컨텍스트 창을 사용하는 비용을 약 2센트로 추산한다.

Subquadratic은 기업의 데이터 세트가 이용 가능한 컨텍스트 용량보다 크기 때문에 검색이 사라지지는 않을 것이라고 설명한다. 그러나 회사는 더 큰 창을 통해 정밀하고 취약한 발췌문 선별에 의존하는 대신 전체 문서나 모듈을 검색할 수 있게 될 것으로 기대하고 있다.