Un groupe de grandes institutions de santé américaines, dont l'American Hospital Association (AHA) et l'American Medical Association (AMA), a demandé à la Food and Drug Administration (FDA) de définir clairement la responsabilité juridique et technique des dispositifs médicaux intégrant des technologies d'IA générative. Ces demandes s'inscrivent dans le cadre des réponses à une proposition réglementaire de l'agence visant à établir un cadre de travail pour gérer ces outils émergents.
Défi de la responsabilité et de la transparence
Les institutions médicales soutiennent que les médecins et les hôpitaux ne possèdent pas la capacité technique ou les ressources nécessaires pour surveiller en continu les performances de modèles d'IA complexes. L'American Hospital Association a souligné que les développeurs sont les mieux placés pour évaluer et maintenir ces outils, notant que le manque de transparence sur le fonctionnement de ces modèles rend difficile pour les prestataires de soins la détection des défauts logiciels ou des biais dans les résultats.
Préoccupations concernant la supervision humaine
L'American Medical Association (AMA) a soulevé un point fondamental concernant le concept de « l'humain dans la boucle » (human-in-the-loop), affirmant que la présence d'un médecin supervisant les résultats de l'IA ne garantit pas nécessairement une réduction des risques. Elle a expliqué qu'une dépendance excessive à l'égard de ces outils pourrait entraîner des erreurs cliniques, ce qui nécessite d'évaluer également la performance de l'élément humain dans le cadre de l'évaluation des risques, et non de se fier uniquement à la nature du fonctionnement du dispositif.
Qu'est-ce qui change concrètement ?
- Transfert de la charge de responsabilité : Les institutions médicales cherchent à se protéger de la responsabilité juridique pour des erreurs techniques sur lesquelles elles n'ont aucun contrôle, estimant que la responsabilité doit incomber aux entreprises fabricantes.
- Demandes de « fiches nutritionnelles » : Certains groupes, comme le WEDI, ont suggéré la nécessité d'obliger les entreprises à apposer des étiquettes explicatives (similaires aux étiquettes de valeur nutritionnelle) détaillant les fonctions de l'outil et ses risques potentiels pour les patients et les médecins.
- Développement d'un cadre de risque : Les institutions médicales estiment que l'évaluation des risques basée uniquement sur « l'activité du dispositif » est insuffisante et que d'autres variables doivent être incluses, telles que la probabilité d'erreur et les conséquences négatives résultant de l'utilisation.
Ces discussions interviennent alors que la FDA se prépare à publier un projet de directive officielle sur la réglementation des dispositifs médicaux basés sur l'IA générative dans les mois à venir, ce qui pourrait mettre fin au débat actuel sur la responsabilité juridique et technique dans ce secteur vital.