Together AI 发布 Together Compiler：利用 AI 编程代理自动优化 GPU 性能

Together AI 发布 Together Compiler：利用 AI 编程代理自动优化 GPU 性能

Together AI 公司揭晓了一项名为 Together Compiler 的新技术创新。这是一个基于 AI 编程代理（AI Coding Agents）的先进系统，旨在接管其推理基础设施所运行的 GPU 代码优化任务。该系统旨在自动化那些过去需要人类工程师耗费数天甚至数周艰苦手动工作的性能调优过程。

在人工监督下的全面自动化

Together Compiler 系统能够生成、测试并优化 GPU 内核（GPU kernels），而无需工程师对每次实验进行单独指导。该公司解释称，优化周期完全独立运行，系统仅需一夜时间即可实现显著的性能提升。尽管如此，Together AI 强调其遵循“人在回路”（Human-in-the-loop）的方法，即最终评估和生产环境中的实际部署仍需由人类工程师在批准前审查变更。

AI 模型加速的挑战

此举是为了应对 AI 模型发布节奏不断加快所带来的巨大挑战。根据该公司的数据，目前 OpenRouter 平台 80% 的流量来自过去三个月内发布的新模型。由于每个模型都有不同的技术要求，针对特定模型优化的代码可能无法在其他模型上保持同等效率，这给工程师手动跟进这些变化带来了巨大压力。

实验速度与性能的飞跃

Together AI 成功创新了一种大幅加速测试过程的方法；与每次 AI 编程代理更改代码时都要重启推理引擎不同，Together Compiler 可以在引擎运行时直接加载新代码。这一举措将初始化时间从约 467 秒缩短至仅 9 秒，使系统能够比现有系统多进行 252 倍的优化实验。

在实际结果方面，根据所使用的模型和硬件类型，该公司记录的推理吞吐量（Inference Throughput）提升高达 2.6 倍。目前，该系统每天通过公司的基础设施处理数万亿个 Token。

对开发者而言有何实际变化？

对于使用 Together AI 服务的开发者和企业而言，这一进展并不一定意味着直接降价，而是意味着以同样的成本获得更高的性能和效率。其实际益处总结如下：

• 硬件效率：从现有 GPU 中榨取最大性能，从而减少资源浪费。
• 适应速度：能够在模型发布后立即以最高性能运行，无需等待漫长的手动优化周期。
• 性能可靠性：得益于数百次自动化实验，系统能够发现人类工程师因时间限制而可能无法察觉的软件解决方案。

Together Compiler 代表了 AI 基础设施管理方式的重要转变，AI 不再仅仅是最终产品，而是成为了优化其所运行的硬件和软件的核心工具，从而闭合了通向更具自我优化能力的系统的技术循环。