Das auf die Entwicklung von Open-Source-KI-Modellen spezialisierte Unternehmen Nous Research hat sein neues Modell Arete-27B vorgestellt. Dieses Modell basiert auf dem von dem chinesischen Unternehmen Alibaba entwickelten Modell Qwen3.8-27B, jedoch mit grundlegenden Modifikationen, die darauf abzielen, die Reaktionen des Modells so umzulenken, dass sie das widerspiegeln, was das Unternehmen als "westliche Werte" bezeichnet.
Modifikations- und Trainingsmechanismus
Nous Research hat kein Basismodell von Grund auf neu entwickelt, sondern auf die Technik des Fine-Tuning des bestehenden Modells zurückgegriffen. Der Prozess umfasste das Training des Modells mit etwa 52,8 Millionen Tokens in 1.202 Ausbildungsschritten, ohne den Einsatz komplexer Techniken wie Reinforcement Learning oder Preference Optimization und ohne die architektonische Struktur des Originalmodells zu beeinträchtigen.
Was ändert sich in der Praxis?
Das Unternehmen führte eine Bewertung durch, die 803 Fragen umfasste, verteilt auf sieben Kategorien, darunter Meinungsfreiheit, Demokratie und Regierungspolitik. Die Ergebnisse zeigten einen deutlichen Rückgang des Anteils von Antworten, die den offiziellen Diskurs der chinesischen Regierung übernehmen, von 22 % beim Originalmodell auf unter 1 % beim Arete-27B-Modell. Darüber hinaus stieg der "Fact Score" von 2,32 auf 2,98 von insgesamt 5.
Warum ist diese Nachricht wichtig?
Die Bedeutung dieser Entwicklung liegt darin zu beweisen, dass Modelle mit offenen Gewichten in ihrer Wert- und Politikausrichtung mit vergleichsweise geringem Trainingsaufwand neu gestaltet werden können. Das Unternehmen weist jedoch auf wichtige Einschränkungen hin:
- Unabhängige Überprüfung: Die Ergebnisse wurden mit dem Modell Grok 4.7 bewertet und wurden bisher keiner unabhängigen Überprüfung durch Dritte unterzogen.
- Politische Voreingenommenheit: Die Verringerung der Übereinstimmung mit dem offiziellen Diskurs bedeutet nicht zwangsläufig das Erreichen einer vollständigen politischen Neutralität oder absoluter Informationsgenauigkeit.
- Gesamtleistung: Tests bestätigten, dass die Modifikationen die allgemeinen Fähigkeiten des Modells nicht negativ beeinflussten, da Arete-27B bei Standard-Leistungstests eine ähnliche Leistung wie das Originalmodell behielt.
Nous Research hat die Modellgewichte, die Trainingsdaten und die Evaluierungsmethodik über die Plattform Hugging Face zur Verfügung gestellt, was Forschern die Tür öffnet, unabhängige Tests durchzuführen und die Wirksamkeit dieser Methodik bei der Änderung der ideologischen Ausrichtung großer Sprachmodelle zu überprüfen.