Outils

llama.cpp

Suivez les dernières actualités, explications et histoires technologiques associées.

Dernières actualités

CN
Comment Rust construit-il des applications de modèles linguistiques avec Rig ?

Comment Rust construit-il des applications de modèles linguistiques avec Rig ?

Une présentation pratique commune de JetBrains et de la Rust Foundation explique comment utiliser la bibliothèque Rig pour créer des agents d’intelligence artificielle en Rust, avec la prise en charge de fournisseurs de modèles, d’outils, du RAG et de modèles locaux. L’article met également en avant une méthode de test des intégrations de modèles consistant à enregistrer les requêtes HTTP et à les rejouer dans l’environnement d’intégration continue.

CN
Qwen3.8-27B rapproche les modèles d’IA avancés de l’exécution locale

Qwen3.8-27B rapproche les modèles d’IA avancés de l’exécution locale

Le modèle ouvert Qwen3.8-27B d’Alibaba offre des capacités multimodales, de codage et d’agents logiciels dans un format pouvant être exécuté localement après compression à environ 17 gigaoctets. Malgré de solides indicateurs de performance, sa forte consommation de tokens et la lenteur de l’inférence imposent un arbitrage pratique entre qualité et vitesse.

CN
L’expérience de bartowski révèle les limites des données imatrix et l’importance de leur diversité dans les modèles GGUF

L’expérience de bartowski révèle les limites des données imatrix et l’importance de leur diversité dans les modèles GGUF

bartowski présente une vaste expérience visant à améliorer les données de calibration utilisées avec imatrix lors de la quantification de modèles via llama.cpp, et conclut que les gains les plus importants apparaissent aux faibles débits binaires, en particulier dans les modèles à mélange d’experts MoE. Le nouveau dataset est plus petit et plus ciblé, mais combine des textes variés et des conversations formatées pour l’utilisation d’outils.

CN
Liquid AI lance le modèle LFM2.5-2.6B pour exécuter des agents localement sur les appareils

Liquid AI lance le modèle LFM2.5-2.6B pour exécuter des agents localement sur les appareils

Liquid AI a annoncé la mise à disposition des modèles LFM2.5-2.6B et LFM2.5-2.6B-Base sur Hugging Face, avec prise en charge de l’appel d’outils et des flux de travail en plusieurs étapes localement. Le modèle vise l’exécution d’agents rapides sur les ordinateurs et les téléphones, avec une consommation inférieure à 2,5 gigaoctets de mémoire.