최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
JetBrains와 Rust Foundation이 공동으로 진행한 실습 시연에서는 Rig 라이브러리를 사용해 Rust로 인공지능 에이전트를 구축하는 방법을 설명하며, 모델 제공업체와 도구, RAG 및 로컬 모델을 지원하는 방식을 다룬다. 또한 이 자료는 HTTP 요청을 기록하고 지속적 통합 환경에서 재생함으로써 모델 통합을 테스트하는 방법도 소개한다.
Alibaba의 오픈 모델 Qwen3.8-27B는 약 17GB로 압축한 뒤 로컬에서 실행할 수 있는 크기 안에서 멀티모달 기능, 코딩, 소프트웨어 에이전트 기능을 제공한다. 강력한 성능 지표에도 불구하고 높은 토큰 소비량과 느린 추론 속도 때문에 품질과 속도 사이에서 실용적인 균형을 찾아야 한다.
bartowski는 llama.cpp를 사용해 모델을 양자화할 때 imatrix에 사용되는 보정 데이터에 관한 광범위한 실험을 검토하고, 가장 큰 이득은 낮은 비트율, 특히 다중 전문가 MoE 모델에서 나타난다는 결론을 내렸다. 새로운 dataset은 더 작고 집중적이지만, 다양한 텍스트와 도구 사용을 위해 구성된 대화를 함께 포함한다.
Liquid AI가 Hugging Face에서 LFM2.5-2.6B 및 LFM2.5-2.6B-Base 모델을 공개했으며, 로컬에서 도구 호출과 다단계 워크플로를 지원한다. 이 모델은 컴퓨터와 휴대전화에서 빠른 에이전트를 실행하는 것을 목표로 하며, 메모리 사용량은 2.5GB 미만이다.