Компания Nous Research, специализирующаяся на разработке моделей искусственного интеллекта с открытым исходным кодом, представила свою новую модель Arete-27B. Эта модель основана на модели Qwen3.8-27B, разработанной китайской компанией Alibaba, однако в нее были внесены существенные изменения, направленные на перенаправление ответов модели так, чтобы они отражали то, что компания описывает как «западные ценности».
Механизм модификации и обучения
Nous Research не стала разрабатывать базовую модель с нуля, а применила метод дополнительного обучения (fine-tuning) существующей модели. Процесс занял обучение модели на примерно 52,8 миллиона токенов за 1202 шага обучения, без использования сложных методов, таких как обучение с подкреплением или оптимизация предпочтений, и без ущерба для исходной архитектуры модели.
Что меняется на практике?
Компания провела оценку, охватывающую 803 вопроса, распределенных по семи категориям, включая свободу слова, демократию и государственную политику. Результаты показали заметное снижение доли ответов, поддерживающих официальный дискурс китайского правительства, с 22% в оригинальной модели до менее чем 1% в модели Arete-27B. Индекс «точности информации» (Fact Score) также вырос с 2,32 до 2,98 из 5.
Почему эта новость важна?
Важность этого события заключается в доказательстве того, что модели с открытыми весами могут менять свои ценностные и политические ориентиры при относительно небольших затратах на обучение. Тем не менее, компания указывает на важные ограничения:
- Независимая проверка: результаты оценивались с помощью модели Grok 4.7 и пока не прошли независимый аудит третьей стороной.
- Политическая предвзятость: снижение соответствия официальному дискурсу не обязательно означает достижение полного политического нейтралитета или абсолютной точности информации.
- Общая производительность: тесты подтвердили, что модификации не оказали негативного влияния на общие возможности модели: Arete-27B сохранила производительность, схожую с оригинальной моделью, в стандартных тестах производительности.
Nous Research предоставила доступ к весам модели, данным обучения и методологии оценки через платформу Hugging Face, что открывает исследователям возможность проводить независимые тесты и проверять эффективность данного метода в изменении идеологических установок больших языковых моделей.