关注最新报道、解读和相关科技故事。
数据中心正转向由 CPU、GPU、NPU、专用加速器和光互连组成的异构集群，而不是让单个 GPU 承担所有任务。这一转变使软件、网络管理和能源成为降低 token 成本、提高硬件利用率的关键因素。
初创公司Etched在Jane Street测试该公司交付的首套完整人工智能系统并购买该系统、将其部署在自有数据中心后，融资7亿美元，估值达到210亿美元。这笔融资反映了市场对该公司相关设计的押注，即加速人工智能模型推理并降低其成本。
Expedera 的 Sharad Chol 分析了边缘设备从传统视觉网络转向 LLM 和 VLM 模型后，瓶颈性质如何从计算能力转变为内存流量。他介绍了基于数据包的处理在减少外部数据传输、改善汽车和嵌入式设备中模型运行方面的作用。