A empresa japonesa Preferred Networks (PFN) considera o desenvolvimento de seu modelo de linguagem PLaMo do zero uma forma de controlar as decisões fundamentais da construção do modelo, e não apenas uma tentativa de competir com modelos americanos e chineses nos indicadores de desempenho. Segundo 田中大輔, chefe da divisão de desenvolvimento de grandes modelos de linguagem da empresa, a importância da abordagem está no fato de a PFN participar diretamente da definição do design, dos dados e dos mecanismos de processamento desde o início.
Isso foi afirmado em uma entrevista com 田中大輔 e ムジビヤ・アディヤン, chefe da divisão de planejamento de grandes modelos de linguagem e responsável pela PreferredAI, em uma discussão sobre os limites de descrever modelos de inteligência artificial como “locais”. O termo não tem uma definição unificada; algumas empresas dependem de modelos abertos desenvolvidos por entidades externas e depois acrescentam treinamento focado na língua japonesa ou em áreas específicas, enquanto a PFN escolheu construir o PLaMo segundo o método de “desenvolvimento completo do zero” (Full Scratch).
O controle dos dados aumenta a interpretabilidade
A PFN relaciona o desenvolvimento próprio à capacidade de assumir uma responsabilidade mais clara perante os clientes. Em muitos modelos abertos, apenas parte das informações está disponível, como os parâmetros que influenciam as saídas, enquanto os dados de treinamento e os métodos de desenvolvimento não são divulgados integralmente. Quando um modelo aberto é treinado novamente com dados adicionais, torna-se mais difícil determinar a origem de determinado comportamento ou problema nas saídas.
No caso do PLaMo, a empresa afirma que consegue escolher os conjuntos de dados utilizados no treinamento e conhecer melhor suas características. Esse ponto é especialmente importante para empresas que lidam com propriedade intelectual e precisam responder a perguntas relacionadas à possibilidade de haver dados que violem direitos autorais entre os materiais de treinamento. A PFN também considera que conhecer as etapas do treinamento a ajuda a investigar as causas dos erros, mesmo que alguns aspectos dos modelos generativos continuem difíceis de interpretar completamente.
田中 cita as alucinações como exemplo: se o PLaMo fornecer uma resposta incorreta, a empresa poderá conseguir relacionar o problema a uma parte específica do conjunto de dados e trabalhar para corrigi-lo. Em um modelo construído sobre um modelo aberto, porém, nem sempre será possível identificar a causa.
Design orientado para a língua japonesa
Segundo a PFN, o benefício do desenvolvimento do zero não se limita à transparência. A empresa projetou o PLaMo levando em consideração conhecimentos relacionados à cultura e às características japonesas, e desenvolveu seu próprio analisador linguístico, conhecido como Tokenizer, para converter o texto em unidades que o modelo possa processar.
A PFN afirma que, ao processar japonês, esse analisador consome cerca de 20 a 30% menos tokens em comparação com os analisadores de modelos externos. A quantidade de tokens afeta a eficiência e o custo do processamento; por isso, a empresa considera que melhorar esse aspecto pode conferir aos modelos locais uma vantagem prática, mesmo quando enfrentam a concorrência de modelos com capacidades gerais elevadas.
Ter o ciclo completo de treinamento também permite preparar conjuntos de dados relacionados a objetivos específicos. Isso pode ajudar na construção de modelos especializados em áreas como o setor financeiro, pois se torna mais fácil determinar o tipo de dados necessário para reforçar um determinado desempenho.
Vantagem da soberania versus custo de desenvolvimento
A PFN insere o desenvolvimento do PLaMo em um contexto mais amplo relacionado aos riscos geopolíticos e à dependência cada vez maior da inteligência artificial como infraestrutura. A empresa apontou que uma decisão do governo americano levou, em junho, à suspensão temporária da disponibilização dos modelos Fable 5 e Mythos 5, da empresa americana Anthropic, considerando que acontecimentos desse tipo demonstram o quanto os serviços são afetados por decisões internacionais.
Mas o desenvolvimento completo não é a opção mais barata nem a mais rápida. Ele exige mais tempo e recursos de treinamento do que o método de acrescentar treinamento a um modelo aberto, e também pode dificultar o acompanhamento dos modelos abertos mais recentes em termos de desempenho. Por isso, a PFN não descarta utilizar as duas abordagens em conjunto; o modelo aberto retreinado pode ser suficiente para alguns usos, e a empresa mencionou um caso de uso na área médica.
Do PLaMo à infraestrutura local
A PFN oferece seus modelos por meio de uma interface de programação de aplicações (API) e também em ambientes locais dentro das instalações do cliente (On-Premises), o que atende às instituições que priorizam o gerenciamento de seus dados. A empresa quer ampliar a presença do PLaMo conectando-o a ferramentas externas e aplicativos existentes no computador, além de desenvolver sua capacidade de executar tarefas longas de forma autônoma e lidar com instruções japonesas complexas.
A série inclui o modelo PLaMo 3.0 Prime, no qual a empresa se concentra em combinar alto desempenho em japonês com baixo custo, além do PLaMo翻訳, dedicado à tradução. 田中 afirma que o objetivo é chegar a um modelo ou serviço que ofereça aos usuários japoneses a melhor eficiência em termos de custo, e não apenas aumentar a capacidade de raciocínio.
A própria infraestrutura computacional continua sendo um desafio. A PFN utiliza recursos de computação dentro e fora do Japão, porque os recursos domésticos, por si só, não são suficientes para competir com as exigências atuais de treinamento. Paralelamente, a empresa trabalha no desenvolvimento de chips dedicados à inteligência artificial e propõe uma integração vertical que poderá apoiar a localização dos recursos computacionais no futuro.
Em julho, a PFN anunciou sua colaboração com a empresa japonesa de inteligência artificial Noetra, apoiada por investimentos de grandes empresas japonesas. O CEO da PFN, 大輔岡野原, liderará o desenvolvimento do modelo, com o envio de 田中 e de vários engenheiros para a Noetra. O projeto pretende inicialmente construir um modelo de inteligência artificial física capaz de operar robôs de forma autônoma, utilizando uma infraestrutura computacional pertencente a operadores locais. Segundo a estimativa de 田中, um modelo que possa ser descrito como “realmente local” poderá surgir já no início de 2027.
O que a experiência da PFN revela é que o caráter “local” de um modelo não é uma avaliação baseada apenas no desempenho. Trata-se de uma escolha entre o controle sobre os dados e o design, a capacidade de interpretar erros e a eficiência linguística, de um lado, e o custo do treinamento e a velocidade de acesso às capacidades mais recentes, de outro. Por isso, a estratégia prática da empresa parece mais próxima de escolher o nível adequado de independência para cada caso de uso, em vez de considerar o desenvolvimento do zero uma solução única.