Das KI-Startup PrismML hat sein Modell Bonsai 2 27B vorgestellt, das das Open-Source-Modell Qwen3.8 27B von Alibaba auf eine Datei von nur 5,9 Gigabyte komprimiert. Nach Angaben des Unternehmens erreicht das komprimierte Modell in Benchmarks 98 % der aggregierten Ergebnisse des ursprünglichen Modells und senkt den Speicherbedarf dabei um etwa das Neun- bis Zehnfache.
Die neue Größe macht den Betrieb des Modells auf einem Personal Computer und möglicherweise auf einem leistungsstarken Smartphone möglich, anstatt vollständig auf Cloud-Server angewiesen zu sein. Das bedeutet jedoch nicht, dass jedes Smartphone es praktisch ausführen kann, da die Quelle die Kompatibilität mit Mobiltelefonen nur als Möglichkeit formuliert. Zudem hängt die tatsächliche Leistung von der Hardware und der Softwareumgebung ab, in der das Modell betrieben wird.
Wie funktioniert die Komprimierungstechnologie?
PrismML setzt auf das, was das Unternehmen ternäre Gewichte nennt. Modellgewichte sind Werte, in denen ein Teil der Informationen gespeichert wird, die das Modell während des Trainings erlernt. Nach Angaben des Unternehmens benötigen sie üblicherweise 16 Bit pro Gewicht. Der neue Ansatz stellt jedes Gewicht dagegen nur mit einem von drei Werten dar: plus eins, minus eins oder null. Die Verringerung der möglichen Werte senkt den für die Speicherung des Modells erforderlichen Speicherplatz erheblich.
Das Unternehmen wird von Babak Hassibi geleitet, einem Professor am Caltech und Spezialisten für Komprimierungstechniken. Ion Stoica ist als Berater für PrismML tätig. Zu den Unterstützern gehören Khosla Ventures, Cerberus Capital und Caltech. PrismML hat eine Seed-Runde in Höhe von 22,25 Millionen Dollar eingesammelt. Das Unternehmen ist nicht das einzige, das an der Komprimierung großer Sprachmodelle arbeitet; die Quelle verwies auch auf Multiverse Computing als Wettbewerber in diesem Bereich.
Bessere Ergebnisse als die vorherige Version
Bonsai 2 stellt eine Verbesserung gegenüber der ersten Bonsai-Version dar, die das Unternehmen im März veröffentlichte und die laut Angaben des Unternehmens, über die TechCrunch berichtete, 95 % der Ergebnisse des ursprünglichen Modells erreichte. PrismML zufolge wurde die erste Version mehr als 11 Millionen Mal heruntergeladen, während die kleineren Modelle des Unternehmens weitere 2,6 Millionen Downloads verzeichneten.
Die Quote von 98 % bedeutet jedoch keine vollständige Übereinstimmung mit dem ursprünglichen Modell und beweist für sich genommen nicht, dass sich der verbleibende Unterschied in der praktischen Nutzung nicht bemerkbar machen wird. Hassibi räumt ein, dass die Komprimierung wahrscheinlich gewisse Auswirkungen auf die Leistung haben wird. Außerdem bilden Benchmarks nicht alle realen Aufgaben ab, und die Softwareumgebung, in der das Modell ausgeführt wird, beeinflusst ebenfalls seine Genauigkeit.
Warum ist diese Entwicklung wichtig?
Wenn es PrismML gelingt, Modelle weiter zu verkleinern und dabei den Großteil ihrer Fähigkeiten zu erhalten, könnte der lokale Betrieb von Schlussfolgerungsmodellen praktikabler werden. Dies ermöglicht die Verarbeitung von Daten auf dem Gerät des Nutzers, anstatt sie in die Cloud zu senden, was laut Stoicas Argumentation den Datenschutz stärken und die Abhängigkeit von einer externen Verbindung verringern könnte. Damit sind jedoch Fragen zum Energieverbrauch, zur Reaktionsgeschwindigkeit und zur Gerätekompatibilität noch nicht geklärt. Ebenso ist nicht bewiesen, dass das Modell in jedem Szenario dasselbe Leistungsniveau erreicht.
Das Unternehmen beabsichtigt, seine Komprimierungstechnologie auf wesentlich größere Modelle anzuwenden. Hassibi sagte, die kommenden Versionen könnten in den nächsten Monaten im Bereich von mehreren hundert Milliarden Parametern liegen. Seiner Ansicht nach könnten größere Modelle der Komprimierung mehr Spielraum geben, ihre Fähigkeiten zu bewahren. Dieses Ziel ist jedoch weiterhin ein Zukunftsplan und noch kein verfügbares Ergebnis. Der Bericht verwies außerdem auf Gerüchte über Gespräche mit Apple. Hassibi lehnte eine Stellungnahme dazu ab, weshalb dies nicht als angekündigte Partnerschaft oder Vereinbarung betrachtet werden kann.