L’initiative UK-LLM développe un modèle d’intelligence artificielle capable de raisonner en anglais et en gallois, afin de contribuer à la fourniture de services publics tels que les soins de santé, l’éducation et les ressources juridiques en gallois, une langue parlée par environ 850 000 personnes au pays de Galles.
Le nouveau modèle repose sur la famille open source NVIDIA Nemotron et a été développé par University College London en collaboration avec l’Université de Bangor et NVIDIA. Le modèle, ainsi que les ensembles de données gallois utilisés pour l’entraînement et l’évaluation, devraient être mis à la disposition des institutions, des entreprises et du secteur public, afin de permettre la réalisation de recherches supplémentaires, l’entraînement de nouveaux modèles et le développement d’applications.
Soutenir les services publics et les langues locales
Le Premier ministre britannique Keir Starmer a déclaré que permettre à l’intelligence artificielle de raisonner en gallois pourrait rendre les services publics, des soins de santé à l’éducation, accessibles à tous dans la langue qu’ils vivent au quotidien. Le projet s’inscrit dans les efforts du gouvernement gallois visant à renforcer l’usage actif de la langue, dans le cadre de l’initiative Cymraeg 2050, qui vise à atteindre un million de locuteurs gallois d’ici 2050.
Le modèle pourrait aider les institutions publiques et les entreprises opérant au pays de Galles à traduire du contenu ou à proposer des chatbots bilingues. Cela concerne notamment les prestataires de soins de santé, les enseignants, les médias, les détaillants et les restaurateurs, en les aidant à fournir du contenu écrit en gallois en plus de l’anglais.
L’initiative a été fondée en 2023 sous le nom de BritLLM. Elle est dirigée par University College London et a déjà publié deux modèles pour les langues parlées au Royaume-Uni. L’équipe UK-LLM entend appliquer la même méthodologie à d’autres langues, notamment le cornique, l’irlandais, le scots et le gaélique écossais, et prévoit également de coopérer avec des organismes internationaux pour développer des modèles destinés à des langues d’Afrique et d’Asie du Sud-Est.
Données d’entraînement et infrastructure informatique
L’équipe de développement a utilisé le modèle Llama Nemotron Super, qui compte 49 milliards de paramètres, ainsi que le modèle Nemotron Nano, qui en compte 9 milliards, puis les a soumis à un entraînement complémentaire à l’aide de données en gallois. En raison de la quantité limitée de données disponibles en gallois par rapport à l’anglais et à l’espagnol, l’équipe a eu recours aux microservices NVIDIA NIM dédiés à gpt-oss-120b et DeepSeek-R1 pour traduire de l’anglais vers le gallois les ensembles de données ouverts de Nemotron, qui comprennent plus de 30 millions d’entrées.
Les travaux de traduction et d’entraînement ont été réalisés à l’aide d’un cluster de GPU via la plateforme NVIDIA DGX Cloud Lepton, ainsi que de centaines de puces NVIDIA GH200 Grace Hopper Superchips sur le superordinateur Isambard-AI. Cet ordinateur est situé à l’Université de Bristol et bénéficie d’un investissement public britannique de 225 millions de livres sterling.
Révision linguistique et accès pour les développeurs
L’Université de Bangor apporte au projet son expertise linguistique et culturelle, tandis que Gruffudd Prys et son équipe vérifient l’exactitude des données d’entraînement traduites automatiquement et des données d’évaluation traduites manuellement. L’équipe évalue également la capacité du modèle à gérer des caractéristiques fines du gallois, telles que la mutation des consonnes au début des mots en fonction des mots voisins.
Nscale, un fournisseur britannique de services cloud d’intelligence artificielle, mettra le nouveau modèle à la disposition des développeurs via une interface de programmation. L’équipe UK-LLM estime que le cadre utilisé pourrait constituer une base pour le développement de modèles multilingues, en tirant parti des modèles Nemotron, de leurs données et de leurs recettes, qui sont accessibles au public.