オープンソースの人工知能モデル開発を専門とするNous Research社は、新しいモデルArete-27Bを発表しました。このモデルは、中国のAlibaba社が開発したQwen3.8-27Bモデルをベースにしていますが、モデルの応答を同社が「西側の価値観」と表現するものに方向転換させることを目的とした根本的な修正が加えられています。
修正とトレーニングのメカニズム
Nous Research社はゼロから基本モデルを開発したわけではなく、既存モデルに対するファインチューニング技術を採用しました。強化学習や選好最適化などの複雑な技術を使用せず、また元のモデルのアーキテクチャを損なうこともなく、約5,280万トークン、1,202のトレーニングステップにわたってモデルのトレーニングを行いました。
実践的な変更点
同社は、表現の自由、民主主義、政府の政策など7つのカテゴリーに分けられた803の質問を含む評価を実施しました。その結果、中国政府の公式の言説を採用する応答の割合が、元のモデルの22%から、Arete-27Bモデルでは1%未満へと大幅に減少したことが示されました。また、「情報精度スコア」（Fact Score）も、5点満点中2.32から2.98へと上昇しました。
このニュースが重要な理由
この開発の重要性は、オープンウェイトモデルの価値観や政治的指向が、比較的限定的なトレーニング努力によって再形成可能であることを証明した点にあります。しかし、同社は重要な制約を指摘しています。
- 独立した検証： 結果の評価にはGrok 4.7モデルが使用されており、現時点では第三者機関による独立した監査を受けていません。
- 政治的バイアス： 公式の言説との一致率の低下は、必ずしも完全な政治的中立性や絶対的な情報の正確性に到達したことを意味するものではありません。
- 全体的なパフォーマンス： テストにより、Arete-27Bは標準的なベンチマークテストにおいて元のモデルと同等のパフォーマンスを維持しており、修正がモデルの一般的な能力に悪影響を及ぼさなかったことが確認されています。
Nous Research社は、モデルのウェイト、トレーニングデータ、および評価手法をHugging Faceプラットフォームで公開しており、研究者が独立したテストを実施し、大規模言語モデルのイデオロギー的指向を変更する上でのこの手法の有効性を検証する道を開いています。