Die UK-LLM-Initiative entwickelt ein KI-Modell, das auf Englisch und Walisisch schlussfolgern kann, um die Bereitstellung öffentlicher Dienstleistungen wie Gesundheitsversorgung, Bildung und juristische Ressourcen auf Walisisch zu unterstützen – einer Sprache, die von etwa 850.000 Menschen in Wales gesprochen wird.
Das neue Modell basiert auf der quelloffenen Familie NVIDIA Nemotron und wurde vom University College London in Zusammenarbeit mit der Bangor University und NVIDIA entwickelt. Das Modell soll voraussichtlich zusammen mit walisischen Trainings- und Evaluierungsdatensätzen Institutionen, Unternehmen und dem öffentlichen Sektor zur Verfügung gestellt werden. Dadurch werden zusätzliche Forschung, das Training neuer Modelle und die Entwicklung von Anwendungen ermöglicht.
Unterstützung öffentlicher Dienstleistungen und lokaler Sprachen
Der britische Premierminister Keir Starmer erklärte, dass die Befähigung von KI, auf Walisisch Schlussfolgerungen zu ziehen, öffentliche Dienstleistungen – von der Gesundheitsversorgung bis zur Bildung – für alle in der Sprache zugänglich machen könne, in der sie leben. Das Projekt steht im Zusammenhang mit den Bemühungen der walisischen Regierung, die aktive Nutzung der Sprache im Rahmen der Initiative Cymraeg 2050 zu fördern, die bis 2050 eine Million Walisischsprecher erreichen will.
Das Modell kann öffentlichen Einrichtungen und in Wales tätigen Unternehmen dabei helfen, Inhalte zu übersetzen oder zweisprachige Chatbots bereitzustellen. Dazu gehören Gesundheitsdienstleister, Lehrkräfte, Medien, Einzelhändler und Restaurantbesitzer, sodass sie neben Englisch auch schriftliche Inhalte auf Walisisch anbieten können.
Die Initiative wurde 2023 unter dem Namen BritLLM gegründet und wird vom University College London geleitet. Zuvor veröffentlichte sie zwei Modelle für im Vereinigten Königreich verwendete Sprachen. Das UK-LLM-Team beabsichtigt, dieselbe Methodik auf weitere Sprachen anzuwenden, darunter Kornisch, Irisch, Schottisch und Schottisch-Gälisch. Außerdem plant es die Zusammenarbeit mit internationalen Partnern zur Entwicklung von Modellen für Sprachen in Afrika und Südostasien.
Trainingsdaten und Recheninfrastruktur
Das Entwicklungsteam verwendete das Modell Llama Nemotron Super mit 49 Milliarden Parametern sowie das Modell Nemotron Nano mit 9 Milliarden Parametern und führte anschließend ein weiteres Training mit Daten in walisischer Sprache durch. Da im Vergleich zu Englisch und Spanisch nur begrenzte walisische Daten verfügbar sind, nutzte das Team die NVIDIA-NIM-Microservices für gpt-oss-120b und DeepSeek-R1, um die offenen Nemotron-Datensätze, die mehr als 30 Millionen Einträge umfassen, vom Englischen ins Walisische zu übersetzen.
Die Übersetzungs- und Trainingsarbeiten wurden mithilfe eines GPU-Clusters über die Plattform NVIDIA DGX Cloud Lepton sowie mit Hunderten NVIDIA-GH200-Grace-Hopper-Superchips auf dem Supercomputer Isambard-AI durchgeführt. Der Computer befindet sich an der University of Bristol und wird durch eine britische Regierungsinvestition in Höhe von 225 Millionen Pfund finanziert.
Sprachliche Überprüfung und Bereitstellung für Entwickler
Die Bangor University unterstützt das Projekt mit ihrer sprachlichen und kulturellen Expertise. Gruffudd Prys und sein Team überprüfen die Genauigkeit der maschinell übersetzten Trainingsdaten und der manuell übersetzten Evaluierungsdaten. Außerdem bewertet das Team die Fähigkeit des Modells, mit feinen Besonderheiten des Walisischen umzugehen, etwa der Veränderung von Konsonanten am Wortanfang in Abhängigkeit von benachbarten Wörtern.
Das Unternehmen Nscale, ein britischer Cloud-Anbieter für künstliche Intelligenz, wird das neue Modell Entwicklern über eine API zur Verfügung stellen. Das UK-LLM-Team ist der Ansicht, dass der verwendete Rahmen als Grundlage für die Entwicklung mehrsprachiger Modelle dienen kann, wobei es von den öffentlich verfügbaren Nemotron-Modellen, deren Daten und Rezepten profitiert.