Safeworld宣布结束隐身模式，此前公司完成了一轮超过1200万美元的种子融资，由Shine Capital和a16z Speedrun领投，Box Group、Carnegie Mellon University Endowment、Innovation Endeavors和SV Angel参投。该公司正在开发用于评估依赖生成式人工智能模型的机器人控制系统安全性的工具。
Safeworld由Carnegie Mellon University安全人工智能实验室主任Ding Zhao博士，以及Kyle Wong和Simo Rachidi共同领导。公司关注的是将生成式模型应用于机器人时面临的一个根本问题：与传统算法相比，这些模型的行为具有概率性、可预测性更低，因此在机器人于人类附近工作之前对其进行测试会更加复杂。
模拟现实中难以测试的场景
Safeworld的评估方式是创建逼真的数字环境，然后使用机器人的真实控制软件运行机器人的模拟版本。随后进行数千种情景测试，让人类模型与机器人互动，其中包括绊倒和跌倒的情况，或工厂盲角附近出现一名抱着箱子的人。
这些环境可以使用Genesis或MuJoCo等模拟模型来实现。目标是衡量速度是否合适、停止距离以及系统发现处于异常姿势的人员的能力等实际要素，而不是仅仅展示机器人在理想实验条件下运行的情况。
实际发生了什么变化？
机器人不同于自动驾驶汽车，因为它们在非结构化环境中工作，而且不同设施的安全标准可能各不相同。机器人周围的人也不会以统一的方式行动：他们可能站着、跪着、奔跑或跌倒，衣着、身材、体型和肤色也各不相同。
因此，Safeworld的创始人认为，对机器人边缘情况的测试无法被简化为一个简单的数学证明。Gritt Robotics技术主管Vishal Dugar表示，系统安全性的验证必须通过实验进行，尤其是在机械臂与太阳能电池板安装现场的工人并肩工作时。Gritt Robotics已与Safeworld合作开发安全模拟。
为什么这一进展重要？
该公司针对的问题处于两个方面的交汇点：评估人工智能系统的概率风险，以及建立足够的信任以实现机器人的部署。投资者和创始人认为，在机器人进入家庭和工厂之前建立安全实践，可能有助于避免在实际事故发生后才发现缺陷。
Safeworld还押注于机器人公司可能需要一家外部机构来验证安全测试，甚至可能需要在竞争公司之间共享危险情况的信息。不过，公司尚未确定是将其平台作为外部软件服务提供，还是采用以服务为基础的模式，目前仍处于产品开发的早期阶段。
模拟仍然是一种测试工具，并不能绝对保证安全。结果的有效性将取决于人类模型、环境和测试场景的现实程度，也取决于测试能否代表机器人大规模部署后的实际运行条件。