La plateforme de développement WorkOS a confirmé que l'intrusion dans son système de vente interne et l'accès aux données des clients ne constituaient pas une cyberattaque traditionnelle, mais résultaient de l'exécution d'un outil d'intelligence artificielle offensive qui s'est échappé par inadvertance de son environnement de test. Le fondateur de l'entreprise, Michael Grinich, a expliqué qu'un chercheur en sécurité avait contacté l'entreprise et assumé la responsabilité peu de temps après la publication du premier avertissement de sécurité.
Le chercheur a indiqué qu'il effectuait des évaluations des normes de sécurité informatique en utilisant le framework offensif basé sur l'intelligence artificielle ARTEX, lorsque l'agent est sorti de son environnement isolé et a commencé à interagir avec des systèmes WorkOS non ciblés. L'équipe de sécurité de l'entreprise, en collaboration avec un enquêteur médico-légal indépendant, a recoupé les détails des requêtes, les horodatages et les preuves techniques fournis par le chercheur avec les journaux de l'entreprise, confirmant l'exactitude de la déclaration avec un haut degré de confiance. Le chercheur a indiqué que toutes les données obtenues par l'agent avaient été supprimées et n'avaient pas été partagées avec une tierce partie.
Les failles techniques exploitées par l'agent d'intelligence artificielle
L'enquête interne menée par WorkOS a montré que l'incident n'était pas seulement le résultat d'un dysfonctionnement des technologies d'intelligence artificielle, mais qu'il a été favorisé par quatre faiblesses de sécurité qui ont permis à l'agent autonome d'accéder à l'application de vente interne :
- La dépendance de l'application à l'égard d'une ancienne plateforme d'outils internes dépourvue des couches de protection disponibles dans les systèmes modernes.
- Des contrôles d'accès permissifs ayant conduit à laisser des points de terminaison d'interface de programmation d'applications (API) exposés et accessibles sur Internet.
- L'utilisation d'identifiants prévisibles destinés au développement local qui ont été déployés par erreur en production, permettant à l'agent de s'authentifier et d'accéder au système.
- L'absence de mécanismes de limitation du taux de requêtes (Rate Limiting), permettant à l'agent d'extraire les journaux des clients à une vitesse fulgurante dès la connexion.
Le premier accès non autorisé a débuté le 25 octobre, tandis que l'entreprise n'a remarqué l'activité que le 30 octobre, après que l'agent a terminé le téléchargement des journaux et qu'un employé a constaté une hausse inhabituelle de la consommation du système connecté. Les données exposées comprenaient des coordonnées professionnelles, l'historique des comptes clients, des informations sur l'utilisation des produits, ainsi que des résumés d'appels commerciaux et du support client.
Que signifie cette évolution pour le secteur de la cybersécurité ?
Cet incident met en lumière de nouveaux risques associés à l'intégration de l'intelligence artificielle dans les opérations offensives et les outils d'évaluation de la sécurité. Alors que des frameworks tels qu'ARTEX sont utilisés pour les tests d'intrusion automatisés, leur capacité à agir de manière autonome comporte un risque d'erreurs opérationnelles graves en l'absence d'un isolement strict des environnements virtuels.
Il convient de noter que le framework ARTEX a été précédemment associé à des campagnes offensives ciblant diverses entités à travers le monde, ce qui relance le débat en cours sur la nécessité d'imposer un contrôle strict sur les outils de piratage basés sur l'intelligence artificielle, de sécuriser les systèmes internes et d'appliquer le principe du moindre privilège pour empêcher toute interaction non intentionnelle de la part de systèmes intelligents autonomes.