Следите за последними материалами, объяснениями и связанными технологическими историями.
Совместная практическая презентация JetBrains и Rust Foundation объясняет, как использовать библиотеку Rig для создания ИИ-агентов на Rust с поддержкой провайдеров моделей, инструментов, RAG и локальных моделей. В материале также рассматривается подход к тестированию интеграций моделей посредством записи HTTP-запросов и их воспроизведения в среде непрерывной интеграции.
Открытая модель Alibaba Qwen3.8-27B предоставляет мультимодальные возможности, функции кодирования и программных агентов в формате, который можно запускать локально после сжатия примерно до 17 ГБ. Несмотря на высокие показатели производительности, большое потребление токенов и медленный вывод требуют практического баланса между качеством и скоростью.
bartowski представляет масштабный эксперимент по улучшению калибровочных данных, используемых с imatrix при квантовании моделей через llama.cpp, и приходит к выводу, что наибольший прирост наблюдается при низкой битовой разрядности, особенно в моделях со смешанными экспертами MoE. Новый dataset меньше и более сфокусирован, но объединяет разнообразные тексты и структурированные диалоги для использования инструментов.
أعلنت Liquid AI إتاحة نموذجي LFM2.5-2.6B وLFM2.5-2.6B-Base على Hugging Face، مع دعم استدعاء الأدوات وسير العمل متعدد الخطوات محليًا. ويستهدف النموذج تشغيل وكلاء سريعين على الحواسيب والهواتف، مع استهلاك أقل من 2.5 غيغابايت من الذاكرة.