日本企業のPreferred Networks（PFN）は、自社の言語モデルPLaMoをゼロから開発することを、性能指標で米国や中国のモデルと競争するための単なる試みではなく、モデル構築における基本的な意思決定を管理する手段と位置付けている。同社の大規模言語モデル開発部門の責任者である田中大輔によると、このアプローチの重要性は、PFNが設計、データ、処理方式の決定に最初から直接関与できる点にある。
これは、田中大輔氏および大規模言語モデル企画部門の責任者でPreferredAIを担当するムジビヤ・アディヤン氏へのインタビューで語られたもので、AIモデルを「国産」と呼ぶことの限界について議論する中で明らかにされた。この用語には統一された定義がない。一部の企業は、外部組織が開発したオープンモデルに、日本語や特定分野に重点を置いた追加学習を施している。一方、PFNは「フルスクラッチ開発」（Full Scratch）という方式でPLaMoを構築することを選んだ。
データ管理が解釈可能性を高める
PFNは、自社開発と顧客に対するより明確な責任を負う能力を結び付けている。多くのオープンモデルでは、出力に影響を与えるパラメータなど、情報の一部しか利用できず、学習データや開発手法は完全には公開されていない。オープンモデルを追加データで再学習すると、特定の挙動や出力上の問題の原因を特定することはさらに難しくなる。
一方、PLaMoの場合、同社は学習に使用するデータセットを選択し、その特性をより詳細に把握できるとしている。この点は、知的財産を扱い、学習素材に著作権を侵害するデータが含まれている可能性について答える必要がある企業にとって、特に重要である。PFNはまた、学習段階に関する知識を持つことで、生成モデルの一部の側面が完全な解釈をなお拒む場合でも、エラーの原因を調査できると考えている。
田中氏は、ハルシネーションを例に挙げる。PLaMoが誤った回答を出した場合、同社は問題をデータセットの特定部分と結び付け、修正に取り組める可能性がある。オープンモデルの上に構築されたモデルでは、原因を常に特定できるとは限らない。
日本語に特化した設計
PFNによれば、ゼロからの開発の利点は透明性に限られない。同社は日本の文化に関わる知識や特性を考慮してPLaMoを設計し、テキストをモデルが処理できる単位に変換するTokenizerと呼ばれる独自の言語解析器を開発した。
PFNによると、この解析器は日本語を処理する際、国外モデルの解析器と比べて、使用するトークン量を約20～30％削減する。トークン数は処理効率とコストに影響するため、同社はこの点の改善により、一般的な能力の高いモデルと競争する場合でも、国産モデルに実用的な優位性を与えられると考えている。
また、学習サイクル全体を自社で保有することで、特定の目標に関連するデータセットを準備できる。これは金融分野などに特化したモデルを構築する際に役立つ可能性がある。特定の性能を高めるために必要なデータの種類を、より容易に特定できるようになるためだ。
主権の優位性と開発コスト
PFNはPLaMoの開発を、地政学的リスクや、インフラとしてますます重要になるAIへの依存に関する、より広い文脈の中に位置付けている。同社は、米国政府による決定により、米国のAnthropicが提供するFable 5およびMythos 5の2つのモデルの利用が6月に一時停止されたことに言及し、こうした展開はサービスが国際的な決定にどれほど左右されるかを示しているとした。
しかし、フルスクラッチ開発は最も安価でも最速でもない。オープンモデルに追加学習を施す方式よりも多くの時間と学習リソースを必要とし、性能面で最新のオープンモデルに追いつくことも難しくなる可能性がある。そのためPFNは、両方の方式を併用することを排除していない。用途によっては再学習したオープンモデルで十分な場合があり、同社は医療分野での利用例があると述べた。
PLaMoから国産インフラへ
PFNは、API（アプリケーション・プログラミング・インターフェース）を通じてモデルを提供するとともに、顧客の拠点内のオンプレミス（On-Premises）環境でも提供している。これはデータ管理を優先する組織に適している。同社は、PLaMoを外部ツールやコンピューター上にあるアプリケーションと接続し、長時間にわたるタスクを自律的に実行する能力や、複雑な日本語の指示に対応する能力を高めることで、PLaMoの存在感を強化したいと考えている。
シリーズにはPLaMo 3.0 Primeが含まれており、同社は日本語での高い性能と低コストの両立に重点を置いている。また、翻訳に特化したPLaMo翻訳もある。田中氏によると、目標は推論能力を高めることだけではなく、日本のユーザーにとってコスト効率が最も高いモデルまたはサービスに到達することだ。
計算基盤そのものも、依然として課題である。PFNは日本国内と国外の計算資源を利用している。現在の学習要件に対抗するには、国内のリソースだけでは不十分だからだ。同時に同社はAI専用チップの開発にも取り組み、将来的に計算資源の国産化を支える可能性のある垂直統合を進めている。
7月、PFNは、日本の大手企業から投資を受けている日本のAI企業Noetraとの協業を発表した。モデル開発はPFNの最高経営責任者（CEO）である大輔岡野原氏が率い、田中氏と複数のエンジニアがNoetraに派遣される。プロジェクトはまず、国内事業者の計算基盤を利用して、ロボットを自律的に動かすことができる物理AIモデルの構築を目指す。田中氏の見積もりによれば、「本当に国産」と呼べるモデルが早ければ2027年に登場する可能性がある。
PFNの経験が示すのは、モデルが「国産」であるかどうかは、性能だけで決まるものではないということだ。それは、一方ではデータと設計の管理、エラーの解釈能力、言語処理の効率を、他方では学習コストと最新能力に到達する速度を比較する選択である。そのため、同社の実践的な戦略は、ゼロからの開発を唯一の解決策と見なすのではなく、用途ごとに適切な独立性の水準を選択することに近いように見える。