人工知能スタートアップのPrismMLは、AlibabaのオープンソースモデルQwen3.8 27Bをわずか5.9ギガバイトのファイルに圧縮したBonsai 2 27Bを発表した。同社によると、圧縮モデルはベンチマークテストにおいて元モデルの総合スコアの98%を達成し、メモリ要件を約9分の1から10分の1に削減する。
この新しいサイズにより、モデルはクラウドサーバーに全面的に依存せず、パーソナルコンピューター、場合によっては高性能スマートフォンでも実行可能になる。ただし、すべてのスマートフォンで実用的に動作することを意味するわけではない。情報源はスマートフォンとの互換性を可能性として提示しており、実際の性能はハードウェアやモデル実行を取り巻くソフトウェアに左右される。
圧縮技術はどのように機能するのか？
PrismMLは、同社が三値重みと呼ぶ手法を採用している。モデルの重みは、学習中に獲得した情報の一部を保存する値であり、同社の説明によれば、通常は重み1つにつき16ビットを必要とする。新しい手法では、各重みを正の1、負の1、またはゼロという3つの値のいずれかだけで表現する。取り得る値の数を減らすことで、モデルの保存に必要な容量を大幅に削減できる。
同社を率いるのは、Caltechの教授で圧縮技術を専門とするBabak Hassibiで、Ion Stoicaは同社のアドバイザーを務めている。支援者にはKhosla Ventures、Cerberus Capital、Caltechが名を連ねる。PrismMLは2,225万ドルのシードラウンドを調達した。大規模言語モデルの圧縮に取り組む企業は同社だけではなく、情報源はこの分野の競合としてMultiverse Computingにも言及している。
前モデルを上回る結果
Bonsai 2は、同社が3月に発表した初代Bonsaiからの改善版である。TechCrunchが同社の説明として伝えたところによると、初代モデルは元モデルのスコアの95%を達成した。PrismMLによれば、初代モデルは1,100万回以上ダウンロードされ、同社のより小型のモデルはさらに260万回ダウンロードされた。
しかし、98%という割合は元モデルとの完全な一致を意味せず、残りの差が実際の利用場面で現れないことを単独で証明するものでもない。Hassibiは、圧縮が性能に何らかの影響を残す可能性が高いと認めている。また、ベンチマークテストは現実のあらゆるタスクを反映するものではなく、モデルが動作するソフトウェア環境も精度に影響する。
なぜこの進展が重要なのか？
PrismMLが大半の能力を維持しながらモデルの縮小を続けられれば、推論モデルをローカルで実行することがより現実的になる可能性がある。これにより、データをクラウドへ送信する代わりにユーザーの端末上で処理できるため、Stoicaの主張によれば、プライバシーを支え、外部接続への依存を減らせる可能性がある。ただし、消費電力、応答速度、デバイス互換性に関する問題が解決されたわけではなく、あらゆるシナリオで同じ性能を発揮することも証明されていない。
同社は、この圧縮技術をはるかに大きなモデルにも適用する予定であり、Hassibiは、今後数か月以内に数千億パラメータ規模のモデルが登場する可能性があると述べた。より大きなモデルは、圧縮プロセスによって能力を維持する余地が広がる可能性があると同氏は考えているが、この目標は依然として将来計画であり、現時点で利用可能な成果ではない。報道はAppleとの協議に関するうわさにも触れたが、Hassibiはコメントを拒否しているため、これを公表された提携や合意と見なすことはできない。