US-amerikanische Gesundheitseinrichtungen fordern, Entwickler generativer KI für die Sicherheit von Medizinprodukten in die Pflicht zu nehmen

Eine Gruppe führender US-amerikanischer Gesundheitseinrichtungen, darunter die American Hospital Association (AHA) und die American Medical Association (AMA), hat die US-amerikanische Arzneimittelbehörde FDA aufgefordert, die rechtliche und technische Verantwortung für Medizinprodukte, die generative KI-Technologien integrieren, klar zu definieren. Diese Forderungen erfolgen im Rahmen von Stellungnahmen zu einem regulatorischen Vorschlag der Behörde, der darauf abzielt, einen Rahmen für den Umgang mit diesen aufstrebenden Tools zu schaffen.

Herausforderung bezüglich Verantwortung und Transparenz

Die medizinischen Einrichtungen argumentieren, dass Ärzte und Krankenhäuser weder über die technischen Kapazitäten noch über die notwendigen Ressourcen verfügen, um die Leistung komplexer KI-Modelle kontinuierlich zu überwachen. Die American Hospital Association betonte, dass die Entwickler am besten in der Lage seien, diese Tools zu bewerten und zu warten, und wies darauf hin, dass der Mangel an Transparenz über die Funktionsweise dieser Modelle es den Pflegeanbietern erschwere, Softwarefehler oder Verzerrungen in den Ergebnissen zu erkennen.

Bedenken hinsichtlich der menschlichen Aufsicht

Die American Medical Association (AMA) brachte einen zentralen Punkt bezüglich des Konzepts des „Human-in-the-Loop“ (Mensch im Kontrollkreis) vor und betonte, dass die Anwesenheit eines Arztes, der die KI-Ergebnisse überwacht, nicht zwangsläufig eine Risikominderung garantiert. Sie erklärte, dass eine übermäßige Abhängigkeit von diesen Tools zu klinischen Fehlern führen kann, was es erforderlich macht, auch die Leistung des menschlichen Elements im Rahmen der Risikobewertung zu bewerten und sich nicht nur auf die Art der Funktionsweise des Geräts zu verlassen.

Was ändert sich in der Praxis?

• Verlagerung der Last der Verantwortung: Die medizinischen Einrichtungen streben danach, sich vor der rechtlichen Haftung für technische Fehler zu schützen, über die sie keine Kontrolle haben, und sind der Ansicht, dass die Verantwortung bei den Herstellern liegen sollte.
• Forderungen nach „Nährwertkennzeichnungen“: Einige Gruppen wie die WEDI schlugen vor, Unternehmen zur Bereitstellung erklärender Etiketten (ähnlich wie Nährwertangaben) zu verpflichten, die die Funktionen des Tools und die potenziellen Risiken für Patienten und Ärzte verdeutlichen.
• Entwicklung eines Risikorahmens: Die medizinischen Einrichtungen sind der Ansicht, dass eine Risikobewertung basierend auf der „Aktivität des Geräts“ allein nicht ausreicht und andere Variablen wie die Wahrscheinlichkeit von Fehlern und die sich aus der Verwendung ergebenden negativen Ergebnisse einbezogen werden müssen.

Diese Diskussionen finden zu einem Zeitpunkt statt, da sich die FDA darauf vorbereitet, in den kommenden Monaten einen offiziellen Leitlinienentwurf zur Regulierung von Medizinprodukten auf Basis generativer KI herauszugeben, was der anhaltenden Debatte über die rechtliche und technische Verantwortung in diesem kritischen Sektor ein Ende setzen könnte.