Die US-amerikanische Food and Drug Administration (FDA) steuert auf die Schaffung eines neuen regulatorischen Rahmens für generative KI hin, die in Medizinprodukten eingesetzt wird, nachdem sie mehr als 500 Kommentare von Akteuren im Gesundheitswesen erhalten hat, darunter Unternehmen für Medizinprodukte, Ärztegruppen und Patientenorganisationen. Dieser Schritt erfolgt als Reaktion auf ein im vergangenen August von der Behörde veröffentlichtes Diskussionspapier, in dem vorgeschlagen wurde, Geräte, die auf generativer KI basieren, anhand eines von der ärztlichen Zulassung inspirierten Rahmens zu bewerten, wobei der Schwerpunkt auf der kontinuierlichen Überwachung nach der Markteinführung des Produkts liegt.
Divergierende Meinungen zur Regulierung
Die Kommentare offenbarten eine klare Spaltung der Visionen darüber, wie mit dieser Technologie umzugehen ist:
- Industriesektor: Lobbygruppen wie AdvaMed forderten die Behörde auf, auf bestehenden regulatorischen Rahmenbedingungen aufzubauen, anstatt einen neuen, speziellen Rahmen für generative KI zu schaffen, und betonten, dass die Einbeziehung dieser Technologie nicht automatisch zusätzliche Effizienzbewertungen auferlegen sollte.
- Medizinische Fachwelt: Kardiologen der SCAI betonten die Notwendigkeit einer präzisen Unterscheidung zwischen Entscheidungsunterstützungswerkzeugen und tatsächlichen Entscheidungsfindungswerkzeugen und warnten vor der verschwommenen Grenze, die generative KI schafft.
- Patienten und Verbraucher: Die Organisation Generation Patient forderte eine verstärkte Überwachung nach der Markteinführung und warnte davor, dass eine übermäßige Abhängigkeit von der Post-Market-Überwachung anstelle von strengen Tests vor der Markteinführung die Risiken auf die Patienten übertragen könnte.
Technische und sicherheitsrelevante Herausforderungen
Forschungslaboratorien wie das Brainstorm-Labor an der Stanford University äußerten grundlegende technische Bedenken. Dr. Nina Fasan wies darauf hin, dass generative KI-Modelle anfangs ein sicheres Verhalten zeigen können, dies jedoch im Verlauf längerer Konversationen abnimmt. Sie schlug zudem die Notwendigkeit eines separaten Bewertungssystems für schwerwiegende Fehler vor, wie etwa das Übersehen von Suizidrisiken oder die Fehldiagnose kritischer Zustände, und wies darauf hin, dass ein Modellfehler über alle Patienten und Standorte hinweg reproduzierbar ist, im Gegensatz zum Fehler eines menschlichen Arztes, der lokal begrenzt bleibt.
Was bedeutet das für die Nutzer?
Die Bedeutung dieser Diskussionen liegt in der Festlegung der rechtlichen und technischen Verantwortung für die Sicherheit der Geräte. Während Unternehmen wie Oura versuchen, Ausnahmen für Geräte zu erwirken, die allgemeine Informationen (Wellness) bereitstellen, fordern Patientenvertreter, dass Chat-Tools, die emotionale Beziehungen simulieren, nicht von der strengen Aufsicht ausgenommen werden sollten, da sie zunehmend zur Abgabe von Ratschlägen zur psychischen Gesundheit eingesetzt werden. Die Frage bleibt offen, wie die Behörde die Förderung medizinischer Innovationen mit der Gewährleistung der Patientensicherheit bei einer Technologie in Einklang bringt, deren Ergebnisse sich ständig verändern.