Einige vertrauenswürdige Funktionen von KI-Plattformen haben sich laut Beobachtungen des Security Operations Center von Huntress in den vergangenen neun Monaten zu einer neuen Angriffsfläche entwickelt. Anstatt KI-Modelle oder deren Entwicklerunternehmen direkt anzugreifen, nutzten die Angreifer teilbare Inhalte, öffentlich veröffentlichte Minianwendungen und bezahlte Suchergebnisse, um Nutzer dieser Plattformen zu erreichen.
Zu den von Huntress beobachteten Angriffswegen gehören Claude-Artifacts, gemeinsam nutzbare Links zu Claude-Unterhaltungen sowie indexierbare Unterhaltungen in ChatGPT und Grok. Diese Kampagnen profitieren davon, dass sich die Inhalte innerhalb einer bekannten Domain und in einer den Nutzern vertrauten Gestaltung befinden, sodass Download-Anweisungen oder Codebefehle legitim wirken. Selbst wenn der Dienstanbieter die Inhalte innerhalb von Stunden oder Tagen entfernt, kann der kurze Zeitraum ausreichen, um Opfer zu erreichen.
FakeAgent-Kampagne nutzt Claude Artifacts aus
Im Juli beobachtete Huntress eine Kampagne, die das Unternehmen FakeAgent nannte und von der mehr als 29 Organisationen betroffen waren. Die Kampagne begann mit der Erstellung eines schädlichen Claude-Artifacts, das auf der Domain claude.ai gehostet wurde, einer echten Domain der Claude-Plattform. Dem Artikel zufolge gestalteten die Angreifer eine gefälschte Download-Seite für die Anwendung Claude Desktop. Dabei machten sie sich zunutze, dass öffentliche Artifacts für einfache Demonstrationen vorgesehen sind und – abgesehen von einem allgemeinen Hinweis – keiner umfassenden Prüfung unterliegen.
Nutzer, die in Bing nach der Anwendung Claude Desktop suchten, gelangten auf die gefälschte Seite. Der Download-Link führte anschließend zu einer externen Domain, die die Malware SectopRAT verteilte. Nachdem Huntress das Artifact gemeldet hatte, entfernte Anthropic es bis zum 22. Juli. Die mit derselben Weiterleitungsdomain verbundene Aktivität setzte sich jedoch im August fort.
Gefälschte Installationsanleitung in einem Freigabelink
Bei einem anderen Vorfall führte eine bei der Google-Suche nach „Claude auf dem Mac“ angezeigte bezahlte Anzeige zu einem claude.ai/share-Link, der vorgab, eine vom Apple-Support herausgegebene Installationsanleitung zu sein. Dass sich die Seite innerhalb der Anthropic-Domain befand, beseitigte übliche Warnsignale wie eine abweichende Website-Adresse oder eine zertifikatsbezogene Warnung.
Die Anleitung forderte das Opfer auf, einen curl-Befehl in das Terminal einzufügen. Dadurch wurde eine sechsstufige Kette ausgelöst, die mit der Installation der Datendiebstahl-Malware MacSync endete. Zu den anvisierten Daten gehörten Cookies, Zugangsdaten, Keychain-Geheimnisse, Telegram-Sitzungen sowie SSH-Schlüssel und Cloud-Schlüssel.
Was ändert sich in der Praxis?
Die Fälle zeigen, dass das Erscheinen von Inhalten innerhalb einer bekannten Plattform kein ausreichender Beleg für deren Sicherheit mehr ist. Ein Link kann hinsichtlich seiner Domain korrekt sein, während die Anweisungen, das Download-Ziel oder der auszuführende Befehl schädlich sind. Huntress beobachtete außerdem ein weiteres Muster, das auf der Verfälschung von Suchergebnissen und indexierten Unterhaltungen in ChatGPT und Grok beruht, sodass anstelle sinnvoller Lösungen für Anfragen zur Fehlerbehebung ClickFix-ähnliche Anweisungen angezeigt werden, darunter auch bei der Suche nach einer Möglichkeit, auf macOS Speicherplatz freizugeben.
Die wichtigste Konsequenz für Nutzer und Supportteams ist, dass sie die Anweisungen selbst sowie die Herkunft von Dateien und Befehlen prüfen müssen, anstatt sich ausschließlich auf den Namen oder die Domain der Plattform zu verlassen. Die Einzelheiten des letztgenannten Musters bleiben in dem verfügbaren Material begrenzt. Daher lassen sich sein vollständiger Umfang oder die Zahl seiner Opfer allein anhand der Quelle nicht bestimmen.