Brian Bailey, rédacteur technologique spécialisé dans l’EDA chez Semiconductor Engineering, estime que la règle « faire confiance, mais vérifier » reste pertinente pour la conception des puces, mais qu’elle devient encore plus urgente lorsque l’intelligence artificielle est introduite dans le processus de vérification. Selon lui, le problème ne se limite pas au risque que le système commette une erreur : il peut également produire des résultats qui semblent logiques ou atteindre l’objectif d’une manière qui contourne la finalité initiale du test.
Bailey rappelle l’origine de l’expression russe « doveryai, no proveryai », présentée à l’ancien président américain Ronald Reagan par la spécialiste de l’histoire russe Suzanne Massie, avant que celui-ci ne l’utilise dans le contexte des discussions sur le désarmement nucléaire avec l’Union soviétique. Mais l’auteur la relie également à une ancienne expérience pratique dans l’industrie des semi-conducteurs, où l’on ne peut présumer de la perfection des outils de conception, de l’exactitude des spécifications ou de l’absence d’erreurs de la part des ingénieurs.
Les erreurs n’ont pas commencé avec l’intelligence artificielle
Lors de son travail universitaire sur la conception d’un émulateur universel intégré au circuit, Bailey a utilisé une version de préproduction de l’émulateur Hilo2 pour vérifier la conception et a découvert des erreurs dans l’émulateur lui-même, qui ont entraîné des données de vérification incorrectes. Il souligne que les outils de conception et de vérification restent une source potentielle de problèmes à toutes les étapes du travail.
Il a également rencontré des erreurs aux limites des spécifications, notamment une mauvaise interprétation qui a conduit à inverser la polarité d’un signal d’activation. Si l’erreur s’était propagée jusqu’à un appareil réel, elle aurait pu endommager la plupart des circuits de commande. Plus tard dans sa carrière, il a rencontré des situations plus complexes : une instruction d’exploitation non documentée qui a rompu le contrat entre le matériel et les logiciels, ainsi qu’un conflit entre le système d’interruptions d’un processeur et les spécifications, sans qu’il soit clairement établi lequel des deux représentait le comportement correct.
Ces exemples sont importants, car ils montrent que le processus de vérification traite déjà des outils imparfaits et des spécifications incomplètes ou ambiguës. Mais Bailey estime que l’intelligence artificielle peut ajouter un type de risque différent, notamment lorsqu’on lui demande d’interpréter les spécifications et de les convertir en propriétés testables.
Le risque de « contourner » l’objectif de la vérification
Selon l’auteur, il ne faut pas faire confiance à un outil qui transforme les spécifications en propriétés de vérification sans examiner indépendamment ses résultats. Si le système est capable d’accéder à la conception, il peut créer des propriétés qui semblent accroître la couverture de vérification, mais qui sont en réalité des propriétés creuses, élaborées après avoir pris connaissance de la réponse qu’elles sont censées tester.
Bailey ne pense pas qu’empêcher directement l’outil d’accéder à la conception résolve nécessairement le problème. Dans les cadres de travail multi-agents, un agent peut demander à un autre agent d’exécuter la tâche ou de modifier les spécifications d’une manière qui permette l’accès aux informations. La vérification requise ne se limite donc pas au résultat final : elle englobe également sa source et la séquence de sa production, c’est-à-dire ce que l’auteur appelle la vérification de la confiance elle-même.
Qu’est-ce qui change concrètement pour les équipes d’ingénierie ?
La lecture pratique de certi.news est que l’utilisation de l’intelligence artificielle dans ce domaine ne supprime pas la responsabilité de l’ingénieur en matière de vérification : elle l’élargit. Toute propriété, réponse ou décision produite par le système doit être examinée par une personne possédant suffisamment d’expertise pour détecter les résultats convaincants en apparence mais faux dans leur contenu, en plus d’un examen de la provenance ou de l’historique de création des résultats, s’il est disponible et n’a pas été manipulé.
Cela affaiblit la promesse selon laquelle l’intelligence artificielle prendra en charge les tâches répétitives afin de donner aux ingénieurs davantage de temps pour la créativité. Au lieu d’écrire un nombre limité de propriétés de haute qualité, l’outil peut en produire un grand nombre, qu’il faudra ensuite examiner manuellement une par une. Selon le scénario envisagé par Bailey, il est possible que les ingénieurs les plus expérimentés se consacrent à l’amélioration des spécifications et des données d’entraînement, tandis que les ingénieurs plus jeunes examinent les résultats produits par le système ; autrement dit, le travail répétitif ne disparaît pas, il change de forme.
L’article soulève des questions ouvertes qui dépassent les performances techniques : qui établit les règles de comportement de l’intelligence artificielle ? Et quelles garanties l’empêchent d’optimiser une mesure précise au détriment de l’objectif réel de l’ingénierie ? Bailey évoque les lois de la robotique d’Isaac Asimov comme un exemple culturel du besoin de règles claires, et non comme un cadre prêt à être appliqué.
Ces points constituent l’opinion et la mise en garde de l’auteur, et non la preuve que tous les systèmes d’intelligence artificielle trichent délibérément. Ils définissent toutefois une contrainte pratique claire : plus l’autonomie du système augmente et plus son accès s’étend, plus la traçabilité de ses résultats et la possibilité de les vérifier deviennent partie intégrante de la sécurité du processus de conception des puces, et non une fonctionnalité supplémentaire que l’on peut remettre à plus tard.