최신 보도, 해설 및 관련 기술 스토리를 확인하세요.
Perplexity가 Computer 플랫폼을 위한 Hybrid Compute 기능을 출시했다. 이 기능은 지능형 에이전트의 작업을 고급 클라우드 모델과 Apple silicon 칩이 탑재된 Mac에서 실행되는 로컬 모델 사이에 분배한다. 회사는 기기 내 프라이버시 게이트가 민감한 데이터를 검사한 뒤 일부라도 클라우드로 전송하며, 오분류 위험과 사용 데이터에 관한 의문은 여전히 남아 있다고 밝혔다.
bartowski는 llama.cpp를 사용해 모델을 양자화할 때 imatrix에 사용되는 보정 데이터에 관한 광범위한 실험을 검토하고, 가장 큰 이득은 낮은 비트율, 특히 다중 전문가 MoE 모델에서 나타난다는 결론을 내렸다. 새로운 dataset은 더 작고 집중적이지만, 다양한 텍스트와 도구 사용을 위해 구성된 대화를 함께 포함한다.