Pratiques d’évaluation des systèmes de modèles linguistiques avant leur mise en production, en les reliant aux décisions produit et aux contraintes de sécurité et d’exploitation.
GitHub tire d’une expérience d’évaluation d’un système reposant sur un modèle linguistique pour réduire les faux positifs lors de la détection des secrets un ensemble de pratiques pour évaluer les systèmes LLM avant leur mise en production. L’expérience insiste sur le lien entre les métriques et la décision produit, la simulation de l’environnement opérationnel réel et l’analyse des erreurs, tout en considérant l’évaluation hors ligne comme un élément probant structuré, et non comme une garantie du comportement dans toutes les situations de production.