최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
PrismML이 Qwen3.8 27B 모델을 5.9기가바이트로 압축한 Bonsai 2 27B를 출시했다. 이 모델은 벤치마크 결과의 98%를 유지해 고급 추론 모델을 컴퓨터와 어쩌면 고사양 스마트폰에서도 실행할 가능성을 높인다. 회사는 성능 손실을 크게 늘리지 않고 메모리 요구량을 줄이기 위해 삼중값 가중치에 기대고 있다.
ITmedia는 대규모 언어 모델을 로컬에서 실행하는 데 대한 관심이 높아지는 현상이 단순히 클라우드 서비스 의존에 대한 우려만으로 설명되지 않으며, 오픈 웨이트 모델, 하드웨어, 소프트웨어라는 세 요소의 성숙에 따른 것이라고 본다. 이 연재의 첫 번째 부분은 모델의 발전에 초점을 맞추며, DeepSeek와 Qwen을 비롯한 중국 모델들이 부상하고 있음을 다룬다.