Die Erzeugung einer falschen oder irreführenden Antwort durch ein KI-System, manchmal in selbstsicherer Formulierung.
Künstliche Intelligenz hat Aufgaben wie die Triage von Warnmeldungen, den Abruf von Runbooks und das Vorschlagen von Reaktionen ins Zentrum der Incident-Bearbeitung gerückt. Simulationen konzentrieren sich jedoch weiterhin meist auf Menschen. Der Beitrag fordert dazu auf, Halluzinationen, Ausfälle und die Grenzen von Schutzmechanismen der Systeme sowie die Fähigkeit der Teams zu testen, ohne sie zu arbeiten.
Eine von Wolters Kluwer in Zusammenarbeit mit Ipsos durchgeführte Studie zeigt, dass Bedenken hinsichtlich des Datenschutzes, der Verzerrung von Modellen und von Halluzinationen US-amerikanische Patienten weniger bereit machen, künstliche Intelligenz für Aufgaben zu nutzen, die persönliche Gesundheitsdaten erfordern. Rund 89 % fordern eine menschliche Aufsicht über von künstlicher Intelligenz erzeugte Antworten zu Gesundheitsthemen.
Der US-Präsident Donald Trump kündigte den Start von America.gov an, einer Konversationsschnittstelle, die den Zugang zu staatlichen Informationen und Dienstleistungen vereinfachen soll, unter Beteiligung von Google und dem Modell Gemini sowie laut einem Regierungsbeamten auch unter Nutzung von Grok. Das Projekt wirft Fragen zu den Risiken von Halluzinationen auf, wenn Nutzer bei Visa, Steuern und Sozialleistungen auf die Antworten des Modells angewiesen sind.
Die US-amerikanische Food and Drug Administration hat Cognita Imaging einen Forschungsauftrag im Wert von 1,29 Millionen US-Dollar erteilt, um die Fähigkeit einer Gruppe großer Sprachmodelle zur Bewertung radiologischer Berichte zu testen, die von KI-Systemen erstellt wurden. Das Projekt soll Halluzinationen und Auslassungen messen und Fälle bestimmen, in denen die Überprüfung durch einen Radiologen erforderlich ist.
Der Beitrag sammelt und erläutert eine breite Palette von Begriffen, die für das Verständnis von KI-Modellen, ihrer Architektur sowie ihrer Trainings- und Betriebsweisen grundlegend geworden sind. Außerdem hebt er neuere Konzepte wie Agenten, das MCP-Protokoll und opakes Schlussfolgern hervor und erläutert die damit verbundenen Einschränkungen und Risiken.