UK-LLM 이니셔티브는 영어와 웨일스어로 추론할 수 있는 AI 모델을 개발하고 있다. 목표는 약 85만 명이 웨일스에서 사용하는 웨일스어로 의료, 교육, 법률 자원과 같은 공공 서비스를 제공하는 것을 지원하는 것이다.
새 모델은 오픈 소스 NVIDIA Nemotron 제품군을 기반으로 하며, University College London이 뱅고어대학교 및 NVIDIA와 협력해 개발했다. 웨일스어 학습 및 평가 데이터 세트와 함께 이 모델이 기관, 기업 및 공공 부문에서 사용될 수 있도록 제공될 예정이다. 이를 통해 추가 연구, 새로운 모델 훈련 및 애플리케이션 개발이 가능해진다.
공공 서비스와 지역 언어 지원
영국 총리 키어 스타머는 AI가 웨일스어로 추론할 수 있도록 하면 의료부터 교육에 이르기까지 공공 서비스를 사람들이 생활하는 언어로 모두에게 제공할 수 있다고 말했다. 이 프로젝트는 2050년까지 웨일스어 사용자를 100만 명으로 늘리는 것을 목표로 하는 Cymraeg 2050 이니셔티브의 일환으로, 웨일스 정부가 언어의 적극적인 사용을 촉진하려는 노력과 연계되어 있다.
이 모델은 웨일스에서 활동하는 공공기관과 기업이 콘텐츠를 번역하거나 이중 언어 챗봇을 제공하는 데 도움을 줄 수 있다. 여기에는 의료 서비스 제공자, 교사, 미디어, 소매업체 및 식당 운영자가 포함되며, 이들이 영어와 함께 웨일스어로 작성된 콘텐츠를 제공할 수 있도록 지원한다.
이 이니셔티브는 2023년에 BritLLM이라는 이름으로 설립되었으며 University College London이 이끌고 있다. 이전에는 영국에서 사용되는 언어를 위한 두 가지 모델을 출시했다. UK-LLM 팀은 같은 방법론을 콘월어, 아일랜드어, 스코틀랜드어 및 스코틀랜드 게일어를 비롯한 다른 언어에도 적용할 계획이다. 또한 아프리카와 동남아시아 언어 모델을 개발하기 위해 국제 기관들과 협력할 계획이다.
학습 데이터와 컴퓨팅 인프라
개발팀은 490억 개의 매개변수를 포함하는 Llama Nemotron Super 모델과 90억 개의 매개변수를 포함하는 Nemotron Nano 모델을 사용한 뒤, 웨일스어 데이터로 두 모델을 추가 학습했다. 영어와 스페인어에 비해 이용 가능한 웨일스어 데이터가 제한적이기 때문에, 팀은 gpt-oss-120b 및 DeepSeek-R1 전용 NVIDIA NIM 마이크로서비스를 활용해 3,000만 개가 넘는 항목으로 구성된 공개 Nemotron 데이터 세트를 영어에서 웨일스어로 번역했다.
번역 및 학습 작업은 NVIDIA DGX Cloud Lepton 플랫폼을 통한 GPU 클러스터와 슈퍼컴퓨터 Isambard-AI의 수백 개 NVIDIA GH200 Grace Hopper Superchip을 사용해 수행됐다. 이 컴퓨터는 브리스틀대학교에 있으며, 영국 정부로부터 2억 2,500만 파운드의 투자를 받았다.
언어 검토와 개발자 이용
뱅고어대학교는 언어 및 문화 전문 지식으로 프로젝트를 지원하고 있으며, Gruffudd Prys와 그의 팀은 기계 번역된 학습 데이터와 수작업으로 번역된 평가 데이터의 정확성을 검토한다. 또한 팀은 인접한 단어에 따라 단어 첫머리의 자음이 변하는 현상과 같은 웨일스어의 세부적인 특성을 모델이 처리할 수 있는지 평가한다.
영국의 AI 클라우드 제공업체인 Nscale은 API를 통해 개발자들에게 새 모델을 제공할 예정이다. UK-LLM 팀은 사용된 프레임워크가 공개적으로 이용 가능한 Nemotron 모델, 데이터 및 레시피를 활용해 다국어 모델을 개발하는 기반이 될 수 있다고 보고 있다.