Следите за последними материалами, объяснениями и связанными технологическими историями.
PrismML представила модель Bonsai 2 27B, которая сжимает модель Qwen3.8 27B до 5,9 ГБ, сохраняя 98% её результатов в бенчмарках. Это приближает запуск продвинутых моделей рассуждений на компьютерах и, возможно, на высокопроизводительных смартфонах. Компания делает ставку на троичные веса, чтобы снизить требования к памяти без существенной потери производительности.
По мнению ITmedia, растущий интерес к локальному запуску больших языковых моделей объясняется не только опасениями зависимости от облачных сервисов, но и зрелостью трёх элементов: моделей с открытыми весами, аппаратного обеспечения и программного обеспечения. Первая часть серии посвящена развитию моделей, среди которых особенно выделяются DeepSeek, Qwen и другие китайские модели.
Открытая модель Alibaba Qwen3.8-27B предоставляет мультимодальные возможности, функции кодирования и программных агентов в формате, который можно запускать локально после сжатия примерно до 17 ГБ. Несмотря на высокие показатели производительности, большое потребление токенов и медленный вывод требуют практического баланса между качеством и скоростью.