Die US-amerikanische Food and Drug Administration (FDA) nähert sich der Ausarbeitung eines Regulierungsrahmens für den Einsatz generativer künstlicher Intelligenz in Medizinprodukten – zu einem Zeitpunkt, an dem es noch kein Medizinprodukt gibt, das diese Technologie auf eine von der FDA regulierte Weise nutzt. Medizinproduktehersteller beobachten, welchen Weg die Behörde einschlagen wird, insbesondere im Hinblick auf den Nachweis von Sicherheit und Wirksamkeit sowie auf die Sicherstellung einer anhaltenden Modellleistung nach der Markteinführung.
Die Behörde veröffentlichte im August ein Diskussionspapier, in dem sie Interessengruppen um Stellungnahmen dazu bat, wie die Sicherheit von Geräten gewährleistet werden kann, die vor und nach ihrem Markteintritt künstliche Intelligenz nutzen. Grace Davis Jamison, Sprecherin des US-amerikanischen Ministeriums für Gesundheit und Soziale Dienste, sagte, Ziel sei es, die besonderen Herausforderungen von Geräten mit generativer künstlicher Intelligenz zu verstehen und bei der Ausarbeitung künftiger Leitlinien zu helfen.
Technologie in Studien, aber noch nicht in zugelassenen Produkten
Dem Artikel zufolge hat die FDA bislang mehr als 1.500 Geräte zugelassen, die eine Komponente künstlicher Intelligenz enthalten, jedoch noch kein Gerät, das generative künstliche Intelligenz nutzt. Dennoch verlieh die Behörde einer begrenzten Zahl von in Entwicklung befindlichen Instrumenten die Breakthrough-Device-Klassifizierung. Dazu gehören zwei getrennte Funktionen von Aidoc und einem Tochterunternehmen von Radiology Partners zur Analyse von Röntgenaufnahmen des Brustkorbs und zur Erstellung von Entwürfen für radiologische Befunde sowie ein Instrument von Modella AI zur Analyse pathologischer Bilder und klinischer Daten.
Die FDA nahm außerdem Geräte, die auf generativer künstlicher Intelligenz basieren, in ein Pilotprogramm für digitale Gesundheit mit dem Namen Technology-Enabled Meaningful Patient Outcomes oder TEMPO auf. Das Programm ermöglicht es Unternehmen, Real-World-Daten zu sammeln, während sie von den Anforderungen einer vorherigen Vermarktungsgenehmigung befreit werden. Zu den Teilnehmern gehört Limbic, das eine kognitive Verhaltenstherapie über Telefongespräche anbietet, bei denen ein KI-gestützter Sprachassistent mit dem Nutzer interagiert.
Einige derzeitige Funktionen unterliegen dagegen keiner FDA-Prüfung. Dexcom fügte 2024 den rezeptfrei erhältlichen Glukosesensoren eine generative Funktion hinzu, um Nutzerdaten zu analysieren und personalisierte Empfehlungen für das Wohlbefinden zu geben. Das Unternehmen erklärte, die Funktion habe keinen Zulassungsantrag vor der Vermarktung erfordert.
Von der Produktprüfung zur kompetenzbasierten Bewertung
Das Diskussionspapier räumt ein, dass generative künstliche Intelligenz nicht ohne Weiteres in die bestehenden Rahmenbedingungen für Medizinprodukte passt. Die Systeme können als Reaktion auf unterschiedliche Eingaben verschiedene Texte oder Bilder erzeugen, wodurch es schwieriger wird, alle Möglichkeiten zu testen und Sicherheit sowie Wirksamkeit zu messen. Auch Halluzinationen, also die Erzeugung falscher Informationen, die zuverlässig erscheinen, geben Anlass zu zusätzlichen Bedenken. Hinzu kommt die Möglichkeit, dass die Modellleistung im Laufe der Zeit nachlässt.
Die FDA schlägt das Konzept einer „kompetenzbasierten Bewertung“ vor und orientiert sich dabei an der Bewertung von Ärzten durch Prüfungen, Aufsicht und öffentliche Berichterstattung. Anstatt zu versuchen, jede mögliche Eingabe und Ausgabe zu prüfen, könnte die Bewertung vor der Vermarktung stärker auf Benchmarking und Tests setzen, die das erforderliche Kompetenzniveau messen.
Die Behörde bringt außerdem die Idee optionaler Master Files für Basismodelle ins Spiel. Nach diesem Konzept könnten Entwickler von Modellen oder Basisplattformen der FDA vertrauliche Informationen vorlegen. Dadurch könnte die Regulierungsbehörde die in einem Medizinprodukt verwendete Technologie verstehen, ohne von jedem Geräteentwickler zu verlangen, sämtliche Geschäftsgeheimnisse des zugrunde liegenden Modells offenzulegen.
Die Überwachung nach der Vermarktung wird Teil der Gleichung sein
Das Papier betont die Bedeutung der Überwachung von Geräten nach ihrer Markteinführung. Die FDA prüft, ob vor der Vermarktung ein höheres Maß an Unsicherheit akzeptiert werden könnte, wenn im Gegenzug stärker auf nachgelagerte Daten und Überwachung zurückgegriffen wird. Kayla Cristales, Anwältin bei Haynes Boone, geht davon aus, dass sich die Behörde bei der Vorlage von Aktualisierungen und der Beobachtung der Weiterentwicklung von Geräten in hohem Maße auf die Unternehmen selbst stützen könnte.
Dieser Punkt betrifft ein Problem, das allein durch die erste Zulassungsprüfung nicht gelöst wird: Das Modell kann sich verändern, die Nutzungsdaten können sich wandeln oder Fehlermuster können sichtbar werden, die während der Studien nicht erkennbar waren. Die Quelle legt jedoch noch keine Überwachungsstandards, keine Häufigkeit der Aktualisierungen und keine detaillierte Verantwortlichkeit der Entwickler und Gesundheitseinrichtungen fest.
Warum ist diese Nachricht wichtig?
Die Unternehmen warten mit unterschiedlicher Dringlichkeit auf die Leitlinien. Erez Kaminski, CEO von Ketryx, sagte, einige Entwickler machten weiter, während andere lieber abwarteten – abhängig von der Unternehmensgröße und der Risikobereitschaft. Von dem Artikel zitierte Experten sind der Ansicht, dass sich viele der derzeitigen Instrumente auf administrative Anwendungen, die Verbesserung von Arbeitsabläufen oder die Umsetzung bekannter Leitlinien konzentrieren. Diese Bereiche erforderten möglicherweise nicht, das Produkt als reguliertes Medizinprodukt einzustufen.
Unternehmen, die sich bereits für den Eintritt in den regulierten Bereich entschieden haben, wie Aidoc, betrachten die spezialisierten Leitlinien als hilfreich, auch wenn sie keine entscheidende Voraussetzung für den Fortschritt darstellen. Sharif Vakili, CEO von UpDoc, sagte, das Fehlen einer regulatorischen Führung könne den Markt zu einem Flickenteppich unterschiedlicher Regeln oder zu verspäteten Reaktionen auf problematische Anwendungen führen.
Aus redaktioneller Sicht liegt die tatsächliche Veränderung noch nicht im Erlass einer verbindlichen Regel, sondern darin, dass die FDA von einer allgemeinen Diskussion über künstliche Intelligenz zur Erprobung konkreter regulatorischer Instrumente übergeht: der kompetenzbasierten Bewertung, den Master Files für Basismodelle und der kontinuierlichen Überwachung. Dies gibt den Unternehmen erste Anhaltspunkte, klärt jedoch noch nicht, wie sich verändernde Modelle zugelassen werden oder wer verantwortlich ist, wenn die Leistung nachlässt.
Die aufgeworfenen Fragen gehen über die Medizinproduktehersteller hinaus. Kellie Owens, Assistenzprofessorin für Medizinethik an der NYU Grossman School of Medicine, forderte eine stärkere Überwachung nach der Vermarktung. Luis Gil Abinader von Generation Patient verlangte mehr Aufsicht über digitale Begleiter und Chatbots, unabhängig davon, ob sie für gesundheitliche Zwecke vermarktet werden oder nicht. Kommerzielle Chatbots fallen derzeit weiterhin außerhalb des Zuständigkeitsbereichs der FDA, obwohl Bedenken hinsichtlich ihrer Nutzung zur psychischen Unterstützung bestehen. Dazu gehört, dass einige von ihnen fälschlicherweise behaupten, psychotherapeutische Behandlung anzubieten. Das Center for Devices der FDA nahm Leitlinien zu klinischen Nachweisen für digitale Geräte zur psychischen Gesundheit in die Liste der für das laufende Haushaltsjahr geplanten Arbeiten auf.