Стартап в области искусственного интеллекта PrismML представил свою модель Bonsai 2 27B, которая сжимает открытую модель Qwen3.8 27B от Alibaba до файла размером всего 5,9 ГБ. Компания утверждает, что сжатая модель получает 98% совокупных баллов исходной модели в бенчмарках, при этом требования к памяти снижаются примерно в девять-десять раз.
Новый размер позволяет запускать модель на персональном компьютере и, возможно, на высокопроизводительном смартфоне вместо полной зависимости от облачных серверов. Однако это не означает, что любой телефон сможет практически запускать её: источник говорит о совместимости со смартфонами предположительно, а фактическая производительность зависит от оборудования и программного окружения, в котором работает модель.
Как работает технология сжатия?
PrismML использует то, что называет троичными весами. Веса модели — это значения, в которых хранится часть информации, усвоенной ею во время обучения; согласно объяснению компании, обычно для каждого веса требуется 16 бит. Новый подход представляет каждый вес только одним из трёх значений: плюс один, минус один или ноль. Сокращение числа возможных значений значительно уменьшает объём пространства, необходимого для хранения модели.
Компанию возглавляет Babak Hassibi, профессор Caltech и специалист по технологиям сжатия, а Ion Stoica работает её консультантом. В список спонсоров входят Khosla Ventures, Cerberus Capital и Caltech. PrismML привлекла посевной раунд на сумму 22,25 млн долларов. Она не единственная компания, работающая над сжатием больших языковых моделей: источник также упомянул Multiverse Computing как конкурента в этой сфере.
Результаты лучше, чем у предыдущей версии
Bonsai 2 представляет собой улучшение по сравнению с первой версией Bonsai, которую компания выпустила в марте и которая достигла 95% результатов исходной модели, согласно данным, переданным TechCrunch компанией. PrismML утверждает, что первая версия была скачана более 11 млн раз, а её меньшие модели получили ещё 2,6 млн загрузок.
Однако показатель в 98% не означает полного совпадения с исходной моделью и сам по себе не доказывает, что оставшаяся разница не проявится в практическом использовании. Hassibi признаёт, что сжатие, вероятно, всё же скажется на производительности. Кроме того, бенчмарки не отражают все реальные задачи, а программная среда, в которой работает модель, также влияет на её точность.
Почему это развитие важно?
Если PrismML продолжит уменьшать модели, сохраняя большую часть их возможностей, запуск моделей рассуждений локально может стать более практичным. Это позволит обрабатывать данные на устройстве пользователя, а не отправлять их в облако, что, согласно аргументу Stoica, может повысить конфиденциальность и снизить зависимость от внешнего подключения. Однако это пока не даёт ответов на вопросы энергопотребления, скорости отклика и совместимости устройств и не доказывает, что модель будет обеспечивать одинаковый уровень производительности в каждом сценарии.
Компания намерена применить технологию сжатия к гораздо более крупным моделям, и Hassibi заявил, что в ближайшие несколько месяцев следующие версии могут охватить диапазон в несколько сотен миллиардов параметров. Он считает, что более крупные модели могут предоставить процессу сжатия больше возможностей для сохранения своих способностей, однако эта цель пока остаётся планом на будущее, а не доступным результатом. В отчёте также упоминались слухи о переговорах с Apple, но Hassibi отказался их комментировать, поэтому их нельзя считать объявленным партнёрством или соглашением.