由 JetBrains 开发的本地人工智能开发工具 Junie Local 在配备 M5 Max 处理器的 Mac 设备上性能显著提升;代码生成速度从之前的每秒约 40 个标记(token)提高到每秒约 70 个标记,且瞬时峰值可达每秒 107 个标记。
这一改进归功于工具架构的两项重大变革:采用了全新的 Splash 推理引擎并集成了 DFlash2 草稿模型,与之前结合 MTP 技术和 MLX-VLM 引擎的方案相比,整体效率翻了一番。
工具性能发生了哪些实际变化?
JetBrains 用 Inco AI 开发的 Splash 引擎取代了之前的 MLX-VLM 引擎,该引擎专门针对 Qwen 模型进行了优化。该引擎允许在每个解码步骤中同时验证八个草稿标记,同时显著降低了上下文注意力成本,确保了解码速度不会随着上下文长度的增加而下降。此外,新引擎内部还集成了针对 M5 芯片定制的 int8 操作优化。
在草稿模型方面,该工具使用了专为 Qwen 3.8-27B 模型定制的 DFlash2 模型。为了避免减慢生成速度的过度思考问题,公司采用了使用 SpecForge 平台在编程路径和真实代码上训练的 Qwen3.8-3.6-27B-blend 版本,从而提高了接受率和编程代理的速度。
可用性与技术要求
- 速度与生成:生成速度从每秒约 40 个标记跃升至约 70 个标记,预填充(prefill)阶段从之前的每秒 850 个标记提升至每秒 1200 个标记。
- 内存消耗:在处理 10 万个标记的上下文时,该工具需要约 24GB 的随机存取存储器(RAM)。
- 支持的设备:用户现在可以在配备 M4 或更新处理器的 Mac 电脑上运行该工具,前提是至少拥有 64GB 的内存。需要注意的是,在 M4 芯片上,预填充阶段的速度比 M5 芯片慢约四倍。
用户可以通过 Junie 命令行界面中的直接更新命令更新该工具,或使用公司提供的专用脚本进行完整安装,此外 DFlash2 模型也可通过 HuggingFace 平台下载。