Termes

AI Safety | Sécurité de l’intelligence artificielle

La sécurité de l’intelligence artificielle est un domaine axé sur la réduction des risques liés à l’IA et sur la vérification du développement et de l’utilisation sûrs des modèles avancés. La couverture associée à ce terme aborde l’évaluation indépendante, la surveillance, la transparence en matière de sécurité et la coopération entre entreprises, ainsi que le débat sur la réglementation et la vitesse de développement.

La sécurité de l’intelligence artificielle est un domaine axé sur la réduction des risques liés à l’IA et sur la vérification du développement et de l’utilisation sûrs des modèles avancés.

Que couvre ce domaine ?

  • Évaluation des modèles : examiner les capacités et les comportements des modèles avant leur entraînement, leur lancement ou l’élargissement de leur utilisation.
  • Surveillance : utiliser des systèmes pour suivre et détecter rapidement les comportements préoccupants.
  • Transparence : documenter les capacités et les risques des modèles, notamment dans les fiches système.
  • Vérification indépendante : faire participer des organismes d’évaluation ou des organisations indépendantes afin d’examiner si les modèles sont développés de manière sûre.
  • Gouvernance : discuter des règles, des normes et des mécanismes de coopération susceptibles d’encadrer le développement et la mise sur le marché des modèles.

Principales questions liées à la sécurité de l’intelligence artificielle

  • Vitesse de développement : l’un des désaccords porte sur la question de savoir si le rythme de développement des modèles avancés laisse suffisamment de temps pour l’évaluation et la diligence nécessaire.
  • Report et ralentissement : OpenAI affirme pouvoir interrompre l’entraînement ou reporter un lancement lorsqu’elle estime qu’un ralentissement est nécessaire, tandis que le dirigeant d’Anthropic a appelé à ralentir le développement afin de mieux comprendre les systèmes et de mieux les contrôler.
  • Ingénierie ou réglementation : Jensen Huang estime que la sécurité est un problème d’ingénierie pouvant être géré par l’ingénierie, les forces du marché et les lois existantes, tandis que la couverture soulève des questions sur la suffisance de cette seule approche.
  • Coopération entre entreprises : OpenAI, Anthropic et Google DeepMind ont tenu des discussions sur la sécurité, notamment au sujet de l’évaluation indépendante et d’un organisme de normalisation pour le secteur, mais les sources ne prouvent ni la création d’un organisme commun ni la conclusion d’un accord contraignant.
  • Compétition internationale : le débat entre les propositions de ralentissement et les réponses chinoises a montré que la sécurité de l’intelligence artificielle recoupe la concurrence technologique ainsi que les restrictions visant les puces et les modèles avancés.

Pourquoi est-il difficile de vérifier la sécurité ?

La couverture montre que les sources disponibles ne permettent pas de déterminer de manière définitive comment mesurer l’adéquation de la surveillance ni à quel moment le report de l’entraînement ou du lancement devient nécessaire. Elles ne tranchent pas non plus la question de savoir si les lois actuelles sont suffisantes, comment garantir l’indépendance des organismes d’évaluation ou comment empêcher l’utilisation des normes de sécurité pour limiter la concurrence.

Questions fréquentes

La sécurité de l’intelligence artificielle signifie-t-elle qu’il faut arrêter le développement ?

La source ne l’établit pas. Le débat porte sur l’équilibre entre la vitesse de développement, d’une part, et l’évaluation, la surveillance ainsi que la capacité à comprendre et à contrôler les systèmes, d’autre part, avec des appels au ralentissement dans certains cas.

Existe-t-il un organisme indépendant et unifié chargé de vérifier la sécurité des modèles ?

Les éléments fournis ne font pas état d’un organisme unifié déjà en place. La couverture évoque des discussions entre entreprises et des propositions visant à faire participer des organismes d’évaluation indépendants et à créer des normes sectorielles.

L’ingénierie et les forces du marché suffisent-elles à garantir la sécurité ?

Il s’agit d’une position attribuée à Jensen Huang, mais le contenu présente des objections à cette position et ne fournit pas de conclusion indépendante permettant d’en établir la suffisance.