La empresa japonesa Preferred Networks (PFN) considera que desarrollar desde cero su modelo lingüístico PLaMo es una forma de controlar las decisiones fundamentales en la construcción del modelo, y no simplemente un intento de competir con los modelos estadounidenses y chinos en los indicadores de rendimiento. Según 田中大輔, jefe de desarrollo de modelos lingüísticos grandes de la empresa, la importancia de este enfoque radica en que PFN participa directamente en la determinación del diseño, los datos y los métodos de procesamiento desde el principio.
Así se explicó en una entrevista con 田中大輔 y ムジビヤ・アディヤン, jefe de planificación de modelos lingüísticos grandes y responsable de PreferredAI, en el marco de un debate sobre los límites de describir los modelos de inteligencia artificial como «locales». El término no tiene una definición unificada: algunas empresas utilizan modelos abiertos desarrollados por entidades externas y después les añaden entrenamiento centrado en el idioma japonés o en ámbitos específicos, mientras que PFN optó por construir PLaMo mediante un enfoque de «desarrollo completamente desde cero» (Full Scratch).
El control de los datos mejora la interpretabilidad
PFN vincula el desarrollo propio con la capacidad de asumir una responsabilidad más clara ante los clientes. En muchos modelos abiertos solo está disponible una parte de la información, como los parámetros que influyen en los resultados, mientras que los datos de entrenamiento y los métodos de desarrollo no se divulgan por completo. Cuando un modelo abierto vuelve a entrenarse con datos adicionales, resulta más difícil determinar el origen de un comportamiento concreto o de un problema en los resultados.
En el caso de PLaMo, la empresa afirma que puede seleccionar los conjuntos de datos utilizados en el entrenamiento y conocer mejor sus características. Este aspecto es especialmente importante para las empresas que gestionan propiedad intelectual y necesitan responder a preguntas relacionadas con la posible presencia de datos que infrinjan derechos de autor entre los materiales de entrenamiento. PFN también considera que conocer las etapas del entrenamiento la ayuda a investigar las causas de los errores, aunque algunos aspectos de los modelos generativos sigan siendo difíciles de interpretar por completo.
田中 pone como ejemplo las alucinaciones: si PLaMo ofrece una respuesta incorrecta, la empresa podría relacionar el problema con una parte concreta del conjunto de datos y trabajar para corregirlo. En cambio, en un modelo construido sobre otro modelo abierto, no siempre sería posible identificar la causa.
Un diseño orientado al idioma japonés
Según PFN, la utilidad del desarrollo desde cero no se limita a la transparencia. La empresa diseñó PLaMo teniendo en cuenta los conocimientos relacionados con la cultura y las características japonesas, y desarrolló su propio analizador lingüístico, conocido como Tokenizer, para convertir el texto en unidades que el modelo pueda procesar.
PFN afirma que este analizador consume, al procesar japonés, entre un 20 y un 30 % menos de tokens que los analizadores de modelos extranjeros. El número de tokens influye en la eficiencia y el coste del procesamiento, por lo que la empresa considera que mejorar este aspecto puede otorgar a los modelos locales una ventaja práctica, incluso cuando compiten con modelos de elevadas capacidades generales.
Disponer del ciclo completo de entrenamiento también permite preparar conjuntos de datos vinculados a objetivos concretos. Esto puede ayudar al crear modelos especializados en ámbitos como el sector financiero, ya que resulta más fácil determinar qué tipo de datos se necesita para reforzar un rendimiento específico.
La ventaja de la soberanía frente al coste del desarrollo
PFN sitúa el desarrollo de PLaMo en un contexto más amplio relacionado con los riesgos geopolíticos y con la creciente dependencia de la inteligencia artificial como infraestructura. La empresa señaló que una decisión del Gobierno estadounidense provocó en junio la suspensión temporal de la disponibilidad de los modelos Fable 5 y Mythos 5 de la empresa estadounidense Anthropic, y consideró que este tipo de acontecimientos demuestra hasta qué punto los servicios se ven afectados por las decisiones internacionales.
Sin embargo, el desarrollo completo no es la opción más barata ni la más rápida. Requiere más tiempo y recursos de entrenamiento que añadir entrenamiento a un modelo abierto, y también puede dificultar alcanzar a los modelos abiertos más recientes en términos de rendimiento. Por ello, PFN no descarta utilizar ambos enfoques conjuntamente: un modelo abierto reentrenado puede ser suficiente para algunos usos, y la empresa mencionó un caso de uso en el ámbito médico.
De PLaMo a la infraestructura local
PFN ofrece sus modelos a través de una interfaz de programación de aplicaciones (API), así como en entornos locales dentro de las instalaciones del cliente (On-Premises), lo que resulta adecuado para las organizaciones que priorizan la gestión de sus datos. La empresa quiere reforzar la presencia de PLaMo conectándolo con herramientas externas y aplicaciones instaladas en el ordenador, y desarrollar su capacidad para ejecutar tareas prolongadas de forma autónoma y gestionar instrucciones japonesas complejas.
La serie incluye el modelo PLaMo 3.0 Prime, en el que la empresa se centra en combinar un elevado rendimiento en japonés con un bajo coste, además de PLaMo翻訳, especializado en traducción. 田中 afirma que el objetivo es alcanzar un modelo o servicio que ofrezca la mejor eficiencia en términos de coste para los usuarios japoneses, y no limitarse a aumentar la capacidad de razonamiento.
La propia infraestructura informática sigue siendo un desafío. PFN utiliza recursos informáticos dentro y fuera de Japón, porque los recursos nacionales por sí solos no bastan para competir con las exigencias actuales del entrenamiento. Paralelamente, la empresa trabaja en el desarrollo de chips especializados en inteligencia artificial y propone una integración vertical que podría apoyar la localización de los recursos informáticos en el futuro.
En julio, PFN anunció su colaboración con la empresa japonesa de inteligencia artificial Noetra, respaldada por inversiones de grandes empresas japonesas. El director ejecutivo de PFN, 大輔岡野原, dirigirá el desarrollo del modelo, mientras que 田中 y varios ingenieros serán enviados a Noetra. El proyecto tiene como primer objetivo construir un modelo de inteligencia artificial física capaz de operar robots de forma autónoma, utilizando una infraestructura informática perteneciente a operadores locales. Según la estimación de 田中, un modelo que pueda describirse como «realmente local» podría aparecer a principios de 2027.
Lo que revela la experiencia de PFN es que el carácter «local» de un modelo no se determina únicamente por su rendimiento. Se trata de una disyuntiva entre el control de los datos y el diseño, la capacidad de interpretar los errores y la eficiencia lingüística, por un lado, y el coste del entrenamiento y la rapidez para acceder a las capacidades más recientes, por otro. Por ello, la estrategia práctica de la empresa parece estar más cerca de elegir el nivel de independencia adecuado para cada caso de uso que de considerar el desarrollo desde cero como una solución única.