美国医学会（AMA）发布了一项新的医疗保健人工智能代理治理框架，旨在明确能够以一定自主性执行多步骤临床任务的工具的使用条件。该框架强调，这些解决方案必须建立在明确证据的基础上，并在获准执行涉及患者护理的职能之前保持高质量的性能。
人工智能代理不同于传统的生成式人工智能工具，其能够在没有持续人工监督的情况下执行一系列操作。潜在用途包括环境临床记录、诊断辅助和患者监测。然而，独立决策中的错误或偏见可能会在医生介入之前对患者造成伤害。
委托任务前的四个问题
美国医学会框架建议，任何临床代理的评估过程都应围绕四个主要问题展开：
- 人工智能系统执行的临床功能是什么？
- 有哪些证据表明其有能力执行该功能？如果失败，会发生什么？
- 应允许系统执行哪些操作？在什么条件下执行？
- 谁应对风险和结果承担责任？
该协会将其立场概括为：证据、权限、监督和问责必须与改善患者护理这一目标保持一致，同时强调医生在开发和部署这些技术方面的核心作用。
为什么这一框架很重要？
这一倡议出台之际，医疗保健机构内部正在扩大对人工智能代理的试验。根据一项针对美国医疗保健行业250名领导者的调查，28%的机构表示已经部署了此类工具，另有44%表示正在开展试验或概念验证项目。大多数受访者预计，这些工具将对临床工作流程产生变革性影响。
另一方面，72%的受访者表示，人工智能代理工具有时会在未经信息技术部门批准的情况下实施。这表明机构监督存在缺口；超过一半的受访者将违反合规或监管要求的可能性，以及未经授权访问受保护健康信息，列为最主要的担忧。
在缺乏全面联邦监管的情况下提供指导
医疗保健行业正处于人工智能联邦监管尚不完善的环境中，这促使专业和行业团体制定临时原则与控制措施。在美国层面，各州法律存在差异：一些州加强限制，另一些州则在测试人工智能支持的医疗保健应用。根据法律和咨询公司Manatt的数据，2025年有47个州提出了250多项影响医疗保健人工智能的法案。
该框架本身并未规定每个代理应如何获批，也没有消除运营风险，但它为在将自主工具引入患者护理流程之前，就责任、权限和证据提出问题提供了实用基础。如何将这些原则转化为可衡量的要求，以及如何在医生、机构和系统开发者之间分配责任，仍是有待解决的问题。