L’entreprise japonaise Preferred Networks (PFN) considère le développement de son modèle linguistique PLaMo à partir de zéro comme un moyen de contrôler les décisions fondamentales liées à la construction du modèle, et non comme une simple tentative de rivaliser avec les modèles américains et chinois sur les indicateurs de performance. Selon 田中大輔, responsable du développement des grands modèles linguistiques au sein de l’entreprise, l’importance de cette approche réside dans le fait que PFN participe directement à la définition de la conception, des données et des mécanismes de traitement dès le départ.
Ces propos ont été tenus lors d’un entretien avec 田中大輔 et ムジビヤ・アディヤン, responsable de la planification des grands modèles linguistiques et chargé de PreferredAI, dans le cadre d’une discussion sur les limites de la qualification des modèles d’intelligence artificielle comme « locaux ». Le terme ne possède pas de définition unifiée : certaines entreprises s’appuient sur des modèles ouverts développés par des entités externes, puis leur ajoutent un entraînement axé sur la langue japonaise ou sur des domaines précis, tandis que PFN a choisi de construire PLaMo selon une approche de « développement entièrement à partir de zéro » (Full Scratch).
Le contrôle des données améliore l’interprétabilité
PFN établit un lien entre le développement en interne et la capacité à assumer une responsabilité plus claire envers ses clients. Dans de nombreux modèles ouverts, seules certaines informations sont disponibles, comme les paramètres qui influencent les résultats, tandis que les données d’entraînement et les méthodes de développement ne sont pas entièrement divulguées. Lorsqu’un modèle ouvert est réentraîné avec des données supplémentaires, il devient plus difficile de déterminer l’origine d’un comportement donné ou d’un problème dans les résultats.
Dans le cas de PLaMo, l’entreprise affirme pouvoir sélectionner les jeux de données utilisés pour l’entraînement et mieux connaître leurs caractéristiques. Cet aspect revêt une importance particulière pour les entreprises qui gèrent des droits de propriété intellectuelle et doivent répondre à des questions concernant la présence éventuelle de données portant atteinte aux droits d’auteur dans les matériaux d’entraînement. PFN estime également que la connaissance des étapes d’entraînement l’aide à enquêter sur les causes des erreurs, même si certains aspects des modèles génératifs restent impossibles à interpréter entièrement.
田中 prend l’hallucination comme exemple : si PLaMo fournit une réponse incorrecte, l’entreprise peut éventuellement relier le problème à une partie précise du jeu de données et travailler à sa correction. En revanche, dans un modèle construit à partir d’un modèle ouvert, il n’est pas toujours possible d’identifier la cause.
Une conception orientée vers la langue japonaise
Selon PFN, l’intérêt du développement à partir de zéro ne se limite pas à la transparence. L’entreprise a conçu PLaMo en tenant compte des connaissances liées à la culture et aux caractéristiques japonaises, et a développé son propre analyseur linguistique, appelé Tokenizer, pour convertir le texte en unités que le modèle peut traiter.
PFN affirme que cet analyseur consomme, lors du traitement du japonais, une quantité de tokens inférieure d’environ 20 à 30 % à celle utilisée par les analyseurs de modèles étrangers. Le nombre de tokens influe sur l’efficacité et le coût du traitement ; l’entreprise estime donc que l’amélioration de cet aspect peut conférer un avantage pratique aux modèles locaux, même lorsqu’ils sont confrontés à des modèles dotés de capacités générales élevées.
La maîtrise de l’ensemble du cycle d’entraînement permet également de préparer des jeux de données associés à des objectifs précis. Cela peut être utile lors de la construction de modèles spécialisés dans des domaines tels que le secteur financier, puisqu’il devient plus facile de déterminer le type de données nécessaire pour renforcer une performance donnée.
L’avantage de la souveraineté face au coût du développement
PFN inscrit le développement de PLaMo dans un contexte plus large lié aux risques géopolitiques et au recours croissant à l’intelligence artificielle en tant qu’infrastructure. L’entreprise a indiqué qu’une décision du gouvernement américain avait conduit, en juin, à suspendre temporairement la disponibilité des modèles Fable 5 et Mythos 5 de la société américaine Anthropic, considérant que de tels développements montrent à quel point les services sont affectés par les décisions internationales.
Mais le développement complet n’est ni l’option la moins coûteuse ni la plus rapide. Il nécessite davantage de temps et de ressources d’entraînement que l’ajout d’un entraînement à un modèle ouvert, et peut également rendre plus difficile le rattrapage des modèles ouverts les plus récents en matière de performances. PFN n’exclut donc pas d’utiliser les deux approches conjointement : un modèle ouvert réentraîné peut suffire pour certains usages, et l’entreprise a mentionné un cas d’utilisation dans le domaine médical.
De PLaMo à une infrastructure locale
PFN propose ses modèles via une interface de programmation d’application (API), ainsi que dans des environnements locaux installés dans les locaux du client (On-Premises), ce qui convient aux organisations qui accordent la priorité à la gestion de leurs données. L’entreprise souhaite renforcer la présence de PLaMo en le reliant à des outils externes et aux applications présentes sur les ordinateurs, et en développant ses capacités à exécuter de manière autonome des tâches longues et à traiter des instructions japonaises complexes.
La gamme comprend le modèle PLaMo 3.0 Prime, pour lequel l’entreprise met l’accent sur la combinaison d’un haut niveau de performance en japonais et d’un faible coût, ainsi que PLaMo翻訳, spécialisé dans la traduction. 田中 affirme que l’objectif est de parvenir à un modèle ou à un service offrant aux utilisateurs japonais la meilleure efficacité en termes de coût, plutôt que de se contenter d’augmenter la capacité de raisonnement.
L’infrastructure informatique elle-même reste un défi. PFN utilise des ressources de calcul situées au Japon et d’autres à l’étranger, car les seules ressources nationales ne suffisent pas à répondre aux exigences actuelles de l’entraînement. Parallèlement, l’entreprise travaille au développement de puces spécialisées dans l’intelligence artificielle et propose une intégration verticale susceptible de favoriser à l’avenir la localisation des ressources de calcul.
En juillet, PFN a annoncé sa collaboration avec la société japonaise d’intelligence artificielle Noetra, soutenue par des investissements de grandes entreprises japonaises. Le directeur général de PFN, 大輔岡野原, dirigera le développement du modèle, tandis que 田中 et plusieurs ingénieurs seront envoyés chez Noetra. Le projet vise d’abord à construire un modèle d’intelligence artificielle physique capable de faire fonctionner des robots de manière autonome, en utilisant une infrastructure informatique appartenant à des opérateurs locaux. Selon l’estimation de 田中, un modèle pouvant être qualifié de « véritablement local » pourrait voir le jour dès 2027.
Ce que révèle l’expérience de PFN, c’est que le caractère « local » d’un modèle ne se résume pas à une question de performance. Il s’agit d’un compromis entre le contrôle des données et de la conception, la capacité à interpréter les erreurs et l’efficacité linguistique, d’une part, et le coût de l’entraînement ainsi que la rapidité d’accès aux capacités les plus récentes, d’autre part. C’est pourquoi la stratégie pratique de l’entreprise semble davantage consister à choisir le niveau d’indépendance adapté à chaque cas d’utilisation, plutôt qu’à considérer le développement à partir de zéro comme une solution unique.