在设备上或设备附近运行人工智能推理，而不是完全依赖集中式云服务。
Microsoft 说明，在客户拥有的设备和环境上运行人工智能会改变信任模型，因为模型、数据和密钥在服务提供商无法直接控制的范围之外运行。Microsoft 提出四项支柱：证明运行环境的完整性、验证组件来源、对模型行为实施确定性中介控制，以及只有在满足证据和政策要求后才释放敏感资产。
Expedera 的 Sharad Chol 分析了边缘设备从传统视觉网络转向 LLM 和 VLM 模型后，瓶颈性质如何从计算能力转变为内存流量。他介绍了基于数据包的处理在减少外部数据传输、改善汽车和嵌入式设备中模型运行方面的作用。
NVIDIA 展示了 Jetson 平台在边缘运行人工智能和机器人系统的能力，涵盖从适用于早期项目的 Jetson Orin Nano Super，到面向更复杂工作负载的 Jetson AGX Thor。公司发布的内容展示了自动驾驶、语音助手和多模态机器人等应用实例。