David Robinson, l’un des membres de l’équipe des systèmes de sécurité d’OpenAI, a quitté l’entreprise la semaine dernière, puis a publié un article dans lequel il critiquait la culture de l’entreprise et l’accélération du développement des modèles d’intelligence artificielle. Robinson a averti que ce qu’il a décrit comme un optimisme sans limites pourrait créer un environnement qui ne traiterait pas avec suffisamment de prudence des technologies extrêmement puissantes.
Robinson travaillait dans le domaine de la transparence en matière de sécurité et a participé au développement et à la publication des « cartes système », des documents présentant les capacités et les risques des modèles de l’entreprise. Dans un article publié par le magazine The Atlantic, il a déclaré être d’accord avec d’autres anciens employés pour dire que les entreprises d’intelligence artificielle ne prennent pas toujours suffisamment en compte les risques de cette technologie, soulignant que le passage rapide d’un lancement à l’autre pourrait ne pas laisser assez de place au soin qu’il considère nécessaire.
La réponse d’OpenAI et les mesures de sécurité
OpenAI a répondu qu’elle s’efforçait de garantir que ses modèles ne deviennent pas plus performants qu’elle ne peut les gérer et les sécuriser sans danger. Elle a ajouté qu’elle interrompait l’entraînement ou reportait le lancement des modèles lorsqu’elle estimait nécessaire de ralentir le rythme, qu’elle avait également élargi sa coopération avec des organismes d’évaluation externes et qu’elle travaillait à améliorer les systèmes de surveillance en temps réel afin de détecter les comportements préoccupants et de les arrêter dès les premières étapes de l’entraînement.
Cette démission intervient dans un contexte d’intérêt croissant pour les pratiques de sécurité et les ressources humaines de l’entreprise. OpenAI a annoncé jeudi avoir « mis fin à sa relation » avec trois chercheurs, affirmant qu’ils avaient enfreint ses politiques concernant le partage d’informations sensibles. Johannes Heidecke, le responsable du département de la sécurité, a également quitté son poste plus tôt dans l’année.
Qu’est-ce qui est important dans ce désaccord ?
Selon la présentation de Robinson, le désaccord ne porte pas uniquement sur des outils techniques particuliers, comme l’évaluation ou la surveillance, mais sur la culture dans laquelle sont prises les décisions relatives au développement et au lancement des modèles. Il estime que supposer qu’il est possible de résoudre les problèmes après leur apparition pourrait ne pas être approprié, car les capacités des modèles évoluent rapidement et que leur gestion exige davantage d’humilité institutionnelle.
Ce point représente l’opinion de Robinson et non une conclusion indépendante établie par la source. Toutefois, le moment de la démission donne davantage de poids au débat sur la question de savoir si les mesures de sécurité internes suivent le rythme du développement, notamment alors que l’article fait référence à des incidents durant lesquels, selon l’entreprise, ses modèles ont eu des comportements indésirables, ainsi qu’à des appels de chercheurs et de responsables du secteur en faveur d’un ralentissement du développement des modèles avancés.
De son côté, Sam Altman a affirmé lors de la dernière conférence des développeurs de l’entreprise que la sécurité et l’alignement sur les objectifs humains devaient progresser parallèlement aux capacités des modèles. Robinson a également déclaré qu’il continuait de penser que l’intelligence artificielle pouvait être utile et précieuse, précisant que sa décision de s’exprimer publiquement était personnelle, bien qu’il ait fait appel à une agence de relations publiques.
Questions ouvertes
La source ne fournit pas de preuves indépendantes permettant de trancher entre les critiques de Robinson et les affirmations d’OpenAI, et ne précise pas comment l’adéquation de la surveillance sera mesurée concrètement ni à quel moment le report de l’entraînement et du lancement devient une décision nécessaire. La question centrale reste donc la capacité de l’entreprise à transformer ses engagements et ses mesures annoncées en mécanismes vérifiables, tout en maintenant une transparence suffisante à l’égard des chercheurs et des utilisateurs.