JetBrains가 사용자의 장치나 자체 인프라에서 빠른 작업을 수행해야 하는 프로그래밍 에이전트와 하위 에이전트를 위해 설계된 오픈 모델 Mellum2.1을 출시했다고 발표했다. 이번 버전은 120억 개 파라미터를 사용하는 Mellum2 모델의 차세대 버전으로, 25억 개의 활성 파라미터를 사용하는 동일한 전문가 혼합 구조를 유지하며 Apache 2.0 라이선스로 제공된다.
주요 개선은 구조 변경이 아니라 사후 훈련에서 이뤄졌다. JetBrains는 강화 학습에 더 크게 의존했으며, 수천 개의 소프트웨어 환경에서 수백만 건의 격리된 실행을 수행해 실제 코드 저장소에서 이뤄지는 작업에 가까운 과제를 모델에 학습시켰다고 밝혔다.
응답에서 저장소 내부 작업으로
JetBrains에 따르면 Mellum2는 빠르지만 소프트웨어 저장소를 원하는 수준으로 처리하지 못했다. 반면 Mellum2.1은 코드베이스를 탐색하고 파일을 수정하며 자신이 수행한 변경 사항을 검사할 수 있게 됐다. 이를 통해 실패한 테스트의 근본 원인을 파악한 뒤 수정 사항을 준비하고 검증하는 등 프로그래밍 에이전트 계획의 여러 단계를 수행하는 데 사용할 수 있다.
더 엄격한 데이터와 환경을 활용한 훈련
새로운 훈련 과제에는 수학, 경쟁 프로그래밍, 과학, 도구 사용, 소프트웨어 엔지니어링이 포함됐다. JetBrains는 공개 데이터와 내부에서 개발한 과제를 결합했지만, 공개 데이터에는 깨진 테스트, 검증할 수 없는 답변, 지나치게 쉬운 문제 또는 해결이 불가능한 문제가 포함될 수 있다고 지적했다. 따라서 해당 자료는 훈련에 투입되기 전에 필터링됐다.
또한 회사는 내부에서 수천 개의 환경을 실행할 수 있는 강화 학습 환경 구축에도 집중했으며, 이를 통해 훈련 중 수백만 건의 격리된 실험을 수행할 수 있었다.
성능과 속도 향상
JetBrains는 통일된 평가 설정을 사용해 Mellum2.1을 이전 버전 및 Qwen3.5-9B와 Gemma 4 E4B 모델과 비교했다. 가장 큰 개선은 에이전트 프로그래밍에서 나타났으며, 프로그래밍, 경쟁 프로그래밍, 수학, 도구 호출, 일반 지식에서도 추가적인 향상이 있었다.
사후 훈련에서 구조가 변경되지 않았기 때문에 모델은 Mellum2의 속도를 유지하며, 다중 토큰 예측(MTP)이 추론을 가속한다. JetBrains는 높은 부하에서 이 모델이 Qwen3.5-9B가 처리하는 토큰 수의 약 두 배를 처리하며, MTP를 사용하면 단일 요청에서 약 1.6배 더 빨라진다고 밝혔다.
실제로 무엇이 달라지는가?
Mellum2.1은 개발팀에 프로그래밍 에이전트나 하위 에이전트를 구축할 수 있는 오픈형 자체 실행 옵션을 제공하며, 코드와 데이터를 운영 주체의 통제 아래 둘 수 있게 한다. 그러나 제시된 수치는 JetBrains의 비교 테스트를 반영한 것이며, 실제 프로젝트의 하드웨어 요구 사항이나 성능 한계에 관한 독립적인 세부 정보는 이 자료에 포함되지 않았다.
이 모델은 현재 Hugging Face에서 이용할 수 있다. llama.cpp, Ollama, LM Studio용 GGUF 버전과 vLLM을 통한 추측 디코딩에 사용되는 MTP 헤드는 추후 제공될 예정이다.