미국의사협회(AMA)는 의료 분야 인공지능 에이전트의 거버넌스를 위한 새로운 프레임워크를 발표했다. 이는 일정 수준의 자율성을 바탕으로 여러 단계의 임상 업무를 수행할 수 있는 도구의 사용 조건을 규정하려는 시도다. 이 프레임워크는 환자 진료에 영향을 미치는 기능을 수행하도록 허용하기 전에 이러한 솔루션이 명확한 근거에 기반하고 높은 수준의 성능을 유지해야 한다는 점에 초점을 맞춘다.
인공지능 에이전트는 지속적인 인간의 감독 없이 일련의 절차를 수행할 수 있다는 점에서 기존의 생성형 인공지능 도구와 다르다. 잠재적 사용 사례로는 주변 임상 기록 작성, 진단 지원, 환자 모니터링 등이 있다. 그러나 독립적인 결정에서 발생한 오류나 편향은 의사가 개입하기 전에 환자에게 피해를 줄 수 있다.
업무를 위임하기 전 던져야 할 네 가지 질문
AMA 프레임워크는 모든 임상 에이전트를 평가하는 과정이 다음 네 가지 핵심 질문에 기반해야 한다고 제안한다.
- 인공지능 시스템은 어떤 임상 기능을 수행하는가?
- 해당 기능을 수행할 수 있다는 근거는 무엇이며, 실패할 경우 어떤 일이 발생하는가?
- 시스템이 어떤 절차를 수행하도록 허용해야 하며, 어떤 조건에서 허용해야 하는가?
- 위험과 결과에 대한 책임은 누가 지는가?
협회는 환자 진료 개선이라는 목표에 맞춰 근거, 권한, 감독 및 책임을 조정해야 한다는 입장을 요약해 제시하면서, 이러한 기술의 개발과 배포에서 의사의 중심적 역할을 강조한다.
이 프레임워크가 중요한 이유
이번 구상은 의료기관 내 인공지능 에이전트의 실험이 확대되는 시점에 나왔다. 미국 의료 분야 리더 250명을 대상으로 한 설문조사에 따르면, 28%의 기관은 이미 이러한 유형의 도구를 배포했다고 답했으며, 44%는 실험이나 개념증명 프로젝트를 진행 중이라고 밝혔다. 응답자 대부분은 임상 업무 흐름에 변혁적인 영향이 있을 것으로 예상했다.
반면 응답자의 72%는 인공지능 에이전트 도구가 정보기술 부서의 승인 없이 적용되는 경우가 있다고 답했다. 이는 기관 차원의 감독에 공백이 있음을 보여준다. 응답자의 절반 이상은 규정 준수 또는 규제 요건 위반 가능성과 보호 대상 건강 정보에 대한 무단 접근을 주요 우려 사항으로 꼽았다.
포괄적인 연방 규제가 없는 상황에서의 지침
의료 분야는 인공지능에 대한 연방 규제가 완비되지 않은 상황에서 움직이고 있으며, 이에 따라 전문 단체와 산업 단체는 임시 원칙과 통제 기준을 마련하고 있다. 미국 전역에서 주별 법률은 규제를 강화하는 주와 인공지능을 활용한 의료 서비스의 사용을 시험하는 주 사이에 차이를 보인다. 법률 및 컨설팅 회사 Manatt에 따르면, 2025년 한 해 동안 47개 주에서 의료 분야 인공지능에 영향을 미치는 법안이 250건 넘게 제출됐다.
이 프레임워크만으로 모든 에이전트를 어떻게 승인할지 정하거나 운영상의 위험을 제거할 수 있는 것은 아니다. 그러나 독립형 도구를 환자 진료 과정에 도입하기 전에 책임, 권한 및 근거에 관한 질문을 제기할 수 있는 실질적인 기반을 제공한다. 이러한 원칙을 측정 가능한 요건으로 어떻게 전환할지, 그리고 의사·기관·시스템 개발자 사이에 책임을 어떻게 배분할지는 여전히 해결되지 않은 문제로 남아 있다.