Das japanische Unternehmen Preferred Networks (PFN) betrachtet die Entwicklung seines Sprachmodells PLaMo von Grund auf als Möglichkeit, die grundlegenden Entscheidungen beim Modellaufbau zu kontrollieren, und nicht lediglich als Versuch, bei Leistungskennzahlen mit amerikanischen und chinesischen Modellen zu konkurrieren. Laut 田中大輔, dem Leiter der Abteilung für die Entwicklung großer Sprachmodelle des Unternehmens, liegt die Bedeutung dieses Ansatzes darin, dass PFN von Anfang an direkt an der Festlegung des Designs, der Daten und der Verarbeitungsmechanismen beteiligt ist.
Dies wurde in einem Interview mit 田中大輔 und ムジビヤ・アディヤン, dem Leiter der Abteilung für die Planung großer Sprachmodelle und Verantwortlichen für PreferredAI, im Rahmen einer Diskussion über die Grenzen der Bezeichnung von KI-Modellen als „lokal“ erklärt. Der Begriff hat keine einheitliche Definition: Einige Unternehmen greifen auf offene Modelle zurück, die von externen Stellen entwickelt wurden, und ergänzen diese anschließend durch Training mit Schwerpunkt auf der japanischen Sprache oder bestimmten Bereichen. PFN entschied sich dagegen, PLaMo nach dem Ansatz einer „vollständigen Entwicklung von Grund auf“ (Full Scratch) aufzubauen.
Kontrolle über Daten verbessert die Interpretierbarkeit
PFN stellt einen Zusammenhang zwischen eigener Entwicklung und der Fähigkeit her, gegenüber Kunden eine klarere Verantwortung zu übernehmen. Bei vielen offenen Modellen ist nur ein Teil der Informationen verfügbar, etwa die Parameter, die die Ausgaben beeinflussen, während Trainingsdaten und Entwicklungsmethoden nicht vollständig offengelegt werden. Wird ein offenes Modell mit zusätzlichen Daten weitertrainiert, wird es schwieriger, die Quelle eines bestimmten Verhaltens oder eines Problems bei den Ausgaben zu bestimmen.
Im Fall von PLaMo kann das Unternehmen nach eigenen Angaben die beim Training verwendeten Datensätze auswählen und ihre Eigenschaften genauer kennen. Dieser Punkt ist besonders für Unternehmen wichtig, die mit geistigem Eigentum umgehen und Fragen dazu beantworten müssen, ob sich möglicherweise urheberrechtsverletzende Daten unter den Trainingsmaterialien befinden. PFN ist außerdem der Ansicht, dass die Kenntnis der Trainingsphasen dabei hilft, die Ursachen von Fehlern zu untersuchen, auch wenn einige Aspekte generativer Modelle weiterhin einer vollständigen Erklärung nicht zugänglich sind.
田中 nennt als Beispiel Halluzinationen: Wenn PLaMo eine falsche Antwort liefert, kann das Unternehmen möglicherweise das Problem mit einem bestimmten Teil des Datensatzes in Verbindung bringen und an dessen Korrektur arbeiten. Bei einem Modell, das auf einem offenen Modell aufbaut, ist die Ursache dagegen möglicherweise nicht immer bestimmbar.
Für die japanische Sprache ausgelegtes Design
Der Nutzen der Entwicklung von Grund auf beschränkt sich PFN zufolge nicht auf Transparenz. Das Unternehmen entwickelte PLaMo unter Berücksichtigung des mit der japanischen Kultur verbundenen Wissens und der japanischen Besonderheiten und entwickelte einen eigenen Sprachanalysator namens Tokenizer, der Text in Einheiten umwandelt, die das Modell verarbeiten kann.
PFN zufolge benötigt dieser Analysator bei der Verarbeitung der japanischen Sprache etwa 20 bis 30 % weniger Tokens als Tokenizer ausländischer Modelle. Die Anzahl der Tokens beeinflusst die Effizienz und die Kosten der Verarbeitung. Daher ist das Unternehmen der Ansicht, dass eine Verbesserung in diesem Bereich lokalen Modellen einen praktischen Vorteil verschaffen kann, selbst wenn sie mit Modellen mit hohen allgemeinen Fähigkeiten konkurrieren.
Der Besitz der vollständigen Trainingspipeline ermöglicht außerdem die Erstellung von Datensätzen, die mit bestimmten Zielen verbunden sind. Dies kann beim Aufbau spezialisierter Modelle für Bereiche wie den Finanzsektor hilfreich sein, da sich leichter bestimmen lässt, welche Art von Daten zur Verbesserung einer bestimmten Leistung benötigt wird.
Vorteil der Souveränität gegenüber den Entwicklungskosten
PFN ordnet die Entwicklung von PLaMo in einen größeren Kontext ein, der die geopolitischen Risiken und die zunehmende Abhängigkeit von KI als Infrastruktur betrifft. Das Unternehmen wies darauf hin, dass eine Entscheidung der US-Regierung im Juni zu einer vorübergehenden Aussetzung der Verfügbarkeit der Modelle Fable 5 und Mythos 5 des US-Unternehmens Anthropic führte. Nach Ansicht von PFN zeigen solche Entwicklungen, in welchem Maß Dienstleistungen durch internationale Entscheidungen beeinflusst werden.
Eine vollständige Entwicklung ist jedoch weder die günstigste noch die schnellste Option. Sie benötigt mehr Zeit und Trainingsressourcen als das Hinzufügen von Training zu einem offenen Modell und kann es hinsichtlich der Leistung erschweren, mit den neuesten offenen Modellen Schritt zu halten. Daher schließt PFN die gemeinsame Nutzung beider Ansätze nicht aus: Ein weitertrainiertes offenes Modell könnte für bestimmte Anwendungen ausreichen; das Unternehmen erwähnte einen Anwendungsfall im medizinischen Bereich.
Von PLaMo zur lokalen Infrastruktur
PFN bietet seine Modelle sowohl über eine Programmierschnittstelle (API) als auch in lokalen Umgebungen am Standort des Kunden (On-Premises) an. Dies eignet sich für Organisationen, die der Verwaltung ihrer Daten Priorität einräumen. Das Unternehmen möchte die Präsenz von PLaMo stärken, indem es das Modell mit externen Tools und auf dem Computer vorhandenen Anwendungen verbindet und seine Fähigkeiten zur autonomen Ausführung langwieriger Aufgaben sowie zum Umgang mit komplexen japanischen Anweisungen ausbaut.
Zur Produktreihe gehört das Modell PLaMo 3.0 Prime, bei dem das Unternehmen den Schwerpunkt auf die Verbindung hoher japanischer Leistungsfähigkeit mit niedrigen Kosten legt, sowie PLaMo翻訳, das für Übersetzungen bestimmt ist. 田中 zufolge besteht das Ziel darin, ein Modell oder einen Dienst zu erreichen, der japanischen Nutzern die beste Kosteneffizienz bietet, statt lediglich die Schlussfolgerungsfähigkeit zu steigern.
Auch die Recheninfrastruktur bleibt eine Herausforderung. PFN nutzt Rechenressourcen innerhalb Japans und im Ausland, weil die inländischen Ressourcen allein nicht ausreichen, um mit den aktuellen Trainingsanforderungen zu konkurrieren. Parallel dazu arbeitet das Unternehmen an der Entwicklung spezialisierter KI-Chips und verfolgt eine vertikale Integration, die künftig die Lokalisierung von Rechenressourcen unterstützen könnte.
Im Juli gab PFN eine Zusammenarbeit mit dem japanischen KI-Unternehmen Noetra bekannt, das durch Investitionen großer japanischer Unternehmen unterstützt wird. Der CEO von PFN, 大輔岡野原, wird die Entwicklung des Modells leiten; 田中 und mehrere Ingenieure werden zu Noetra entsandt. Das Projekt zielt zunächst auf den Aufbau eines Modells für physische KI ab, das Roboter autonom steuern kann und eine Recheninfrastruktur lokaler Betreiber nutzt. Nach Einschätzung von 田中 könnte bereits Anfang 2027 ein Modell entstehen, das als „wirklich lokal“ bezeichnet werden kann.
Die Erfahrung von PFN zeigt, dass die „Lokalität“ eines Modells nicht allein eine Bewertung der Leistung ist. Sie stellt einen Zielkonflikt dar: auf der einen Seite die Kontrolle über Daten und Design, die Fähigkeit, Fehler zu erklären, und die Spracheffizienz; auf der anderen Seite die Trainingskosten und die Geschwindigkeit, mit der die neuesten Fähigkeiten verfügbar werden. Daher scheint die praktische Strategie des Unternehmens eher darin zu bestehen, für jeden Anwendungsfall den angemessenen Grad an Unabhängigkeit zu wählen, statt die Entwicklung von Grund auf als einzige Lösung zu betrachten.