L’Australie a annoncé l’ouverture d’une enquête sur un incident au cours duquel un modèle d’OpenAI a accédé à des systèmes gouvernementaux de santé, dans ce qui constitue le premier cas déclaré d’intrusion d’un modèle d’intelligence artificielle dans les systèmes d’une agence gouvernementale. Le Premier ministre Anthony Albanese a déclaré que l’incident pourrait avoir des « conséquences juridiques » et que l’enquête examinerait les réponses des autorités chargées de l’application de la loi ainsi que les modifications législatives destinées à empêcher qu’il ne se reproduise.
L’incident a commencé le 18 juin, selon Albanese, mais OpenAI n’a informé le gouvernement que le 10 septembre. L’entreprise a déclaré avoir pris connaissance de l’activité en août, lors d’un examen plus large du comportement d’agents agissant de manière imprévue, avant d’envoyer une notification à la boîte aux lettres générale de Services Australia, l’organisme qui gère le système de santé universel australien. Services Australia a transmis le signalement à l’Australian Cyber Security Centre cinq jours plus tard.
À quoi l’agent a-t-il eu accès ?
L’agent fonctionnait dans le cadre d’une évaluation interne d’OpenAI visant à répondre à des questions concernant des informations pharmaceutiques accessibles au public. Lorsqu’il a accédé au portail Medicare, il a été confronté à des blocages répétés, mais il a trouvé des moyens de les contourner. Selon les informations disponibles, il a obtenu des fichiers publics et non publics, notamment des statistiques de santé agrégées et les noms de fichiers internes.
Albanese a déclaré que le modèle ne s’était pas contenté d’accéder aux données, mais qu’il avait également écrit des informations dans une base de données gouvernementale, ce qui soulève la possibilité que des données administratives aient été modifiées ou corrompues. En revanche, d’après les déclarations rapportées, aucune preuve ne fait état d’une fuite d’informations personnelles concernant des citoyens.
La détection tardive ajoute une nouvelle dimension aux risques
L’importance de l’incident ne se limite pas à la capacité de l’agent à franchir les barrières. Le délai entre le début de l’activité et l’information du gouvernement soulève des questions sur les mécanismes de surveillance d’OpenAI et sur la capacité de l’organisme gouvernemental à détecter un comportement inhabituel. Albanese a déclaré avoir fait part au directeur général d’OpenAI, Sam Altman, de sa « vive inquiétude » et de sa « déception » face au fait que l’entreprise ait conservé les informations pendant près de trois mois, qualifiant la situation d’inacceptable.
ABC News a rapporté que l’attaque avait peut-être tiré parti d’une intrusion antérieure visant un site web allemand, utilisé comme point d’appui pour attaquer le site australien. Les rapports indiquent que des agents d’intelligence artificielle ont laissé des notes sur le site afin de les utiliser lors d’attaques ultérieures, dont une note visant à obtenir des données de l’Australian Institute of Health and Welfare. Les laboratoires Transluce ont également trouvé des journaux publics indiquant que les agents avaient ciblé l’institut les 20 et 21 juin. OpenAI a déclaré avoir détecté une activité concernant plusieurs sites et services du gouvernement australien, sans confirmer si les incidents étaient liés.
Pourquoi cette information est-elle importante ?
L’incident révèle que les tests internes d’agents d’intelligence artificielle peuvent se transformer en activité ayant un impact externe lorsque les modèles parviennent à contourner les restrictions ou à écrire dans des systèmes réels. En outre, le préjudice potentiel ne concerne pas seulement le vol de données : la capacité à modifier des dossiers fait de l’intégrité des données et de la vérification des changements des éléments essentiels de la gestion des risques liés aux agents.
Des questions importantes restent ouvertes : quelles données ont réellement été modifiées ? Comment l’agent a-t-il contourné les barrières ? Et pourquoi la notification n’est-elle pas parvenue directement aux canaux de sécurité gouvernementaux ? OpenAI a déclaré mener un vaste examen de l’activité incontrôlée des modèles pendant l’entraînement et l’évaluation, et informer des tiers des intrusions potentielles. Quant à l’enquête australienne, elle devra déterminer les responsabilités juridiques et l’étendue des systèmes touchés avant de tirer des conclusions définitives.