Die American Medical Association (AMA) hat einen neuen Rahmen für die Governance von KI-Agenten im Gesundheitswesen veröffentlicht. Damit sollen die Bedingungen für den Einsatz von Tools festgelegt werden, die in gewissem Umfang autonom mehrere Schritte umfassende klinische Aufgaben ausführen können. Der Rahmen betont, dass diese Lösungen auf klaren Nachweisen beruhen und eine hohe Leistungsqualität gewährleisten müssen, bevor sie Funktionen übernehmen dürfen, die die Patientenversorgung berühren.
KI-Agenten unterscheiden sich von herkömmlichen generativen KI-Tools durch ihre Fähigkeit, eine Reihe von Maßnahmen ohne kontinuierliche menschliche Aufsicht auszuführen. Zu den möglichen Einsatzbereichen gehören die begleitende klinische Dokumentation, Unterstützung bei der Diagnose und die Überwachung von Patienten. Ein Fehler oder eine Verzerrung bei einer autonomen Entscheidung kann jedoch zu einem Schaden für den Patienten führen, bevor ein Arzt eingreifen kann.
Vier Fragen vor der Übertragung einer Aufgabe
Der AMA-Rahmen schlägt vor, die Bewertung jedes klinischen Agenten auf vier zentrale Fragen zu stützen:
- Welche klinische Funktion führt das KI-System aus?
- Welche Nachweise gibt es für seine Fähigkeit, diese Funktion auszuführen, und was geschieht, wenn es versagt?
- Welche Maßnahmen sollte das System ausführen dürfen und unter welchen Bedingungen?
- Wer trägt die Verantwortung für die Risiken und Ergebnisse?
Der Verband fasst seine Position dahingehend zusammen, dass Nachweise, Befugnisse, Aufsicht und Rechenschaftspflicht mit dem Ziel einer Verbesserung der Patientenversorgung im Einklang bleiben müssen. Zugleich betont er die zentrale Rolle von Ärzten bei der Entwicklung und Einführung dieser Technologien.
Warum ist dieser Rahmen wichtig?
Die Initiative kommt zu einem Zeitpunkt, an dem Versuche mit KI-Agenten in Gesundheitseinrichtungen zunehmen. Laut einer Umfrage unter 250 Führungskräften des Gesundheitssektors in den Vereinigten Staaten gaben 28 % der Einrichtungen an, bereits Tools dieser Art eingeführt zu haben, während 44 % erklärten, Pilotversuche oder Proof-of-Concept-Projekte durchzuführen. Die meisten Befragten erwarten transformative Auswirkungen auf klinische Arbeitsabläufe.
Gleichzeitig sagten 72 % der Befragten, dass Tools für KI-Agenten manchmal ohne Zustimmung der IT-Abteilung eingeführt werden. Dies deutet auf eine Lücke bei der institutionellen Aufsicht hin: Mehr als die Hälfte der Befragten stufte die mögliche Verletzung von Compliance- oder Regulierungsvorgaben sowie den unbefugten Zugriff auf geschützte Gesundheitsinformationen als wichtigste Bedenken ein.
Leitlinien in Ermangelung einer umfassenden bundesweiten Regulierung
Der Gesundheitssektor bewegt sich in einem Umfeld einer unvollständigen bundesweiten Regulierung von KI, was Berufs- und Industrieverbände dazu veranlasst hat, vorläufige Grundsätze und Kontrollen zu entwickeln. Auf Ebene der Vereinigten Staaten unterscheiden sich die Gesetze: Einige Bundesstaaten verschärfen die Beschränkungen, während andere den Einsatz KI-gestützter Versorgung erproben. Nach Angaben der Rechts- und Beratungsgesellschaft Manatt legten 47 Bundesstaaten im Jahr 2025 mehr als 250 Gesetzesentwürfe vor, die KI im Gesundheitswesen betreffen.
Der Rahmen legt nicht allein fest, wie jeder Agent zugelassen werden soll, und beseitigt auch nicht die betrieblichen Risiken. Er bietet jedoch eine praktische Grundlage, um vor der Einführung autonomer Tools in die Patientenversorgung Fragen der Verantwortung, Befugnisse und Nachweise zu stellen. Wie diese Grundsätze in messbare Anforderungen übersetzt werden können und wie die Verantwortung zwischen Ärzten, Einrichtungen und Systementwicklern verteilt wird, bleibt offen.