关注最新报道、解读和相关科技故事。
PrismML推出Bonsai 2 27B模型,将Qwen3.8 27B模型压缩至5.9 GB,同时保留其98%的基准测试成绩,使在电脑、甚至高端手机上运行先进推理模型成为可能。该公司押注三值权重,以降低内存需求,同时避免性能大幅损失。
ITmedia认为,人们日益关注在本地运行大型语言模型,并不仅仅是因为对依赖云服务的担忧,更是因为三个要素日趋成熟:开放权重模型、硬件以及软件。该系列第一部分聚焦于模型的发展,其中DeepSeek、Qwen及其他中国模型日益受到关注。