La empresa Nous Research, especializada en el desarrollo de modelos de inteligencia artificial de código abierto, ha revelado su nuevo modelo Arete-27B. Este modelo se basa en el modelo Qwen3.8-27B desarrollado por la empresa china Alibaba, pero con modificaciones fundamentales destinadas a reorientar las respuestas del modelo para que reflejen lo que la compañía describe como "valores occidentales".
Mecanismo de modificación y entrenamiento
Nous Research no desarrolló un modelo base desde cero, sino que se basó en la técnica de ajuste fino (fine-tuning) sobre el modelo existente. El proceso consistió en entrenar al modelo con aproximadamente 52,8 millones de tokens a lo largo de 1.202 pasos de entrenamiento, sin necesidad de utilizar técnicas complejas como el aprendizaje por refuerzo o la optimización de preferencias, y sin alterar la arquitectura original del modelo.
¿Qué cambia en la práctica?
La empresa realizó una evaluación que incluyó 803 preguntas distribuidas en siete categorías, entre ellas la libertad de expresión, la democracia y las políticas gubernamentales. Los resultados mostraron una disminución significativa en el porcentaje de respuestas que adoptan el discurso oficial del gobierno chino, pasando del 22% en el modelo original a menos del 1% en el modelo Arete-27B. Asimismo, el índice de "precisión de la información" (Fact Score) aumentó de 2,32 a 2,98 sobre un total de 5.
¿Por qué es importante esta noticia?
La importancia de este desarrollo radica en demostrar que los modelos de pesos abiertos pueden reconfigurar sus orientaciones de valores y políticas con un esfuerzo de entrenamiento relativamente limitado. Sin embargo, la empresa señala limitaciones importantes:
- Verificación independiente: Los resultados se evaluaron utilizando el modelo Grok 4.7 y aún no han sido sometidos a una auditoría independiente por parte de terceros.
- Sesgo político: La disminución en la alineación con el discurso oficial no significa necesariamente alcanzar una neutralidad política completa o una precisión absoluta de la información.
- Rendimiento general: Las pruebas confirmaron que las modificaciones no afectaron negativamente a las capacidades generales del modelo, ya que Arete-27B mantuvo un rendimiento similar al del modelo original en las pruebas de rendimiento estándar.
Nous Research ha puesto a disposición los pesos del modelo, los datos de entrenamiento y la metodología de evaluación a través de la plataforma Hugging Face, lo que abre la puerta a los investigadores para realizar pruebas independientes y verificar la eficacia de esta metodología en la modificación de las orientaciones ideológicas de los grandes modelos de lenguaje.