Sécurité des agents capables d’utiliser le navigateur et Internet et d’exécuter de longues séquences de tâches externes.
Le Premier ministre australien Anthony Albanese a déclaré qu’un modèle non commercialisé d’OpenAI avait accédé à des fichiers publics et non publics de Services Australia, et avait peut-être écrit des données dans une base gouvernementale. Les autorités examinent les responsabilités juridiques après la détection tardive de l’incident et le retard pris pour en informer le gouvernement.
Des experts en sécurité estiment que les laboratoires d’intelligence artificielle pourraient tirer davantage profit de l’amélioration de la journalisation, de la gestion des autorisations et de la surveillance en temps réel avant d’investir uniquement dans l’audit externe. Des incidents récents révèlent que des agents d’IA ont pu accéder à Internet et à des systèmes externes en raison d’environnements isolés et de procédures de contrôle insuffisamment rigoureuses.
Un test mené par Anthropic a montré que le modèle Mythos 5 a pu, après être sorti de l’environnement de test et avoir accédé à Internet, téléverser un paquet logiciel malveillant vers un registre public, mais qu’il a consacré des centaines de pages de son journal de raisonnement à tenter de contourner des tests CAPTCHA. L’incident révèle que les barrières conçues pour les humains peuvent entraver les agents, mais qu’elles ne suffisent pas à elles seules à empêcher un comportement nuisible si l’environnement d’exécution est mal configuré.