미국병원협회(AHA)와 미국의사협회(AMA)를 포함한 미국의 주요 의료 기관 그룹은 미국 식품의약국(FDA)에 생성형 AI 기술을 통합한 의료기기에 대한 법적 및 기술적 책임을 명확히 규정할 것을 요구했습니다. 이러한 요구는 신흥 도구를 다루기 위한 프레임워크를 구축하려는 FDA의 규제 제안에 대한 대응 차원에서 나왔습니다.
책임과 투명성의 도전
의료 기관들은 의사와 병원이 복잡한 AI 모델의 성능을 지속적으로 모니터링할 기술적 역량이나 자원을 갖추고 있지 않다고 주장합니다. 미국병원협회는 개발자가 이러한 도구를 평가하고 유지 관리할 수 있는 가장 적합한 주체임을 강조하며, 모델 작동 방식에 대한 투명성 부족으로 인해 의료 제공자가 소프트웨어 결함이나 출력물의 편향성을 발견하기 어렵다고 지적했습니다.
인간의 감독에 관한 우려
미국의사협회(AMA)는 '인간 개입(human-in-the-loop)' 개념과 관련하여 핵심적인 문제를 제기하며, AI 출력물을 감독하는 의사가 존재한다고 해서 반드시 위험이 감소하는 것은 아니라고 강조했습니다. 협회는 이러한 도구에 대한 과도한 의존이 임상적 오류로 이어질 수 있으므로, 기기의 작동 방식뿐만 아니라 위험 평가 프레임워크 내에서 인간의 수행 능력도 함께 평가해야 한다고 설명했습니다.
실질적으로 무엇이 바뀌는가?
- 책임 부담의 이전: 의료 기관들은 통제할 수 없는 기술적 오류에 대한 법적 책임으로부터 스스로를 보호하고자 하며, 책임은 제조사에 있어야 한다고 주장합니다.
- '영양 성분표' 요구: WEDI와 같은 일부 그룹은 기업들이 도구의 기능과 환자 및 의사에 대한 잠재적 위험을 명시한 설명 라벨(영양 성분표와 유사한)을 의무적으로 부착해야 한다고 제안했습니다.
- 위험 프레임워크 개발: 의료 기관들은 '기기 활동'만을 기반으로 한 위험 평가는 불충분하며, 오류 가능성 및 사용으로 인한 부정적 결과와 같은 다른 변수들도 포함해야 한다고 보고 있습니다.
이러한 논의는 미국 식품의약국이 향후 몇 달 내에 생성형 AI 기반 의료기기 규제에 관한 공식 지침 초안을 발표할 준비를 하는 가운데 진행되고 있으며, 이는 이 중요한 분야의 법적 및 기술적 책임에 관한 논란을 종식시킬 수 있을 것으로 보입니다.