La iniciativa UK-LLM está desarrollando un modelo de inteligencia artificial capaz de razonar en inglés y galés, con el objetivo de apoyar la prestación de servicios públicos como la atención sanitaria, la educación y los recursos jurídicos en galés, idioma hablado por unas 850.000 personas en Gales.
El nuevo modelo se basa en la familia de código abierto NVIDIA Nemotron y ha sido desarrollado por University College London en colaboración con la Universidad de Bangor y NVIDIA. Se prevé que el modelo, junto con conjuntos de datos galeses de entrenamiento y evaluación, esté disponible para instituciones, empresas y el sector público, lo que permitirá realizar investigaciones adicionales, entrenar nuevos modelos y desarrollar aplicaciones.
Apoyo a los servicios públicos y las lenguas locales
El primer ministro británico, Keir Starmer, afirmó que permitir que la inteligencia artificial razone en galés puede hacer que los servicios públicos, desde la atención sanitaria hasta la educación, estén disponibles para todos en el idioma en el que viven. El proyecto está vinculado a los esfuerzos del Gobierno galés para promover el uso activo del idioma, en el marco de la iniciativa Cymraeg 2050, cuyo objetivo es alcanzar un millón de hablantes de galés para 2050.
El modelo puede ayudar a las instituciones públicas y a las empresas que operan en Gales a traducir contenidos o proporcionar chatbots bilingües. Esto incluye a proveedores de atención sanitaria, docentes, medios de comunicación, minoristas y propietarios de restaurantes, ayudándoles a ofrecer contenido escrito en galés junto con el inglés.
La iniciativa se fundó en 2023 con el nombre de BritLLM, está dirigida por University College London y anteriormente publicó dos modelos para las lenguas utilizadas en el Reino Unido. El equipo de UK-LLM pretende aplicar la misma metodología a otras lenguas, entre ellas el córnico, el irlandés, el escocés y el gaélico escocés, y también planea colaborar con entidades internacionales para desarrollar modelos para lenguas de África y el sudeste asiático.
Datos de entrenamiento e infraestructura informática
El equipo de desarrollo utilizó el modelo Llama Nemotron Super, que cuenta con 49.000 millones de parámetros, y el modelo Nemotron Nano, que cuenta con 9.000 millones de parámetros, y posteriormente los entrenó con datos en galés. Debido a la limitada disponibilidad de datos en galés en comparación con el inglés y el español, el equipo recurrió a los microservicios NVIDIA NIM de gpt-oss-120b y DeepSeek-R1 para traducir del inglés al galés conjuntos de datos abiertos de Nemotron, que contienen más de 30 millones de entradas.
Los trabajos de traducción y entrenamiento se realizaron utilizando un clúster de GPU a través de la plataforma NVIDIA DGX Cloud Lepton, además de cientos de chips NVIDIA GH200 Grace Hopper Superchips en el superordenador Isambard-AI. El ordenador está ubicado en la Universidad de Bristol y cuenta con una inversión del Gobierno británico de 225 millones de libras esterlinas.
Revisión lingüística y disponibilidad para desarrolladores
La Universidad de Bangor apoya el proyecto con su experiencia lingüística y cultural, mientras que Gruffudd Prys y su equipo revisan la precisión de los datos de entrenamiento traducidos automáticamente y de los datos de evaluación traducidos manualmente. El equipo también evalúa la capacidad del modelo para gestionar características sutiles del galés, como el cambio de las consonantes al inicio de las palabras según las palabras adyacentes.
Nscale, un proveedor británico de servicios en la nube para inteligencia artificial, ofrecerá el nuevo modelo a los desarrolladores mediante una interfaz de programación de aplicaciones. El equipo de UK-LLM considera que el marco utilizado puede servir de base para desarrollar modelos multilingües, aprovechando los modelos Nemotron y sus datos y recetas disponibles públicamente.