UK-LLMイニシアチブは、英語とウェールズ語の両方で推論できるAIモデルを開発している。ウェールズ語を話す約85万人を対象に、医療、教育、法務リソースなどの公共サービスをウェールズ語で提供することを支援するのが目的だ。
新モデルはオープンソースのNVIDIA Nemotronファミリーを基盤としており、University College Londonがバンガー大学およびNVIDIAと協力して開発した。モデルに加え、ウェールズ語の訓練用データセットと評価用データセットも、機関、企業、公共部門が利用できるようになる見込みで、追加研究、新しいモデルの訓練、アプリケーション開発が可能になる。
公共サービスと地域言語の支援
英国首相キア・スターマー氏は、AIがウェールズ語で推論できるようにすることで、医療から教育までの公共サービスを、誰もが自分たちの暮らす言語で利用できるようになる可能性があると述べた。このプロジェクトは、2050年までにウェールズ語話者100万人の達成を目指すCymraeg 2050イニシアチブの下で、同言語の積極的な利用を促進するウェールズ政府の取り組みと結び付いている。
このモデルは、ウェールズで活動する公共機関や企業がコンテンツを翻訳したり、バイリンガルのチャットボットを提供したりするのに役立つ可能性がある。対象には医療提供者、教育関係者、メディア、小売業者、飲食店経営者などが含まれ、英語に加えてウェールズ語で書かれたコンテンツを提供できるよう支援する。
このイニシアチブは2023年にBritLLMという名称で設立され、University College Londonが主導している。これまでに英国で使用される言語向けの2つのモデルを公開している。UK-LLMチームは、同じ手法をコーンウォール語、アイルランド語、スコットランド語、スコットランド・ゲール語など、他の言語にも適用する予定であり、アフリカおよび東南アジアの言語向けモデルを開発するため、国際機関との協力も計画している。
訓練データと計算基盤
開発チームは、490億パラメーターを備えるLlama Nemotron Superモデルと、90億パラメーターを備えるNemotron Nanoモデルを使用し、ウェールズ語のデータを用いて追加訓練を行った。英語やスペイン語と比較して利用可能なウェールズ語データが限られているため、チームはgpt-oss-120bおよびDeepSeek-R1向けのNVIDIA NIMマイクロサービスを利用し、3000万件超のエントリーを含むオープンなNemotronデータセットを英語からウェールズ語へ翻訳した。
翻訳と訓練は、NVIDIA DGX Cloud Leptonプラットフォーム上のGPUクラスターに加え、Isambard-AIスーパーコンピューターに搭載された数百基のNVIDIA GH200 Grace Hopper Superchipを用いて実施された。同コンピューターはブリストル大学に設置されており、英国政府から2億2500万ポンドの投資を受けている。
言語レビューと開発者への提供
バンガー大学は言語および文化に関する専門知識でプロジェクトを支援しており、Gruffudd Prys氏とそのチームは、機械翻訳された訓練データと手作業で翻訳された評価データの正確性を確認している。またチームは、隣接する語に応じて語頭の子音が変化することなど、ウェールズ語の微妙な特徴をモデルが扱える能力も評価している。
英国のAIクラウドプロバイダーであるNscaleは、新モデルをAPIを通じて開発者に提供する。UK-LLMチームは、使用したフレームワークが、多言語モデル開発の基盤になり得ると考えている。そこでは、Nemotronのモデル、データ、公開されているレシピを活用できる。