Aktuelle Berichte, Erklärungen und verbundene Technologiethemen.
Eine gemeinsame praktische Präsentation von JetBrains und der Rust Foundation erklärt, wie die Rig-Bibliothek zum Bau von KI-Agenten in Rust verwendet wird, mit Unterstützung für Modellanbieter und Tools, RAG sowie lokale Modelle. Der Beitrag zeigt außerdem eine Methode zum Testen von Modellintegrationen durch die Aufzeichnung von HTTP-Anfragen und deren Wiedergabe in der Umgebung der kontinuierlichen Integration.
Das offene Modell Qwen3.8-27B von Alibaba bietet multimodale Fähigkeiten, Programmierfunktionen und Unterstützung für Software-Agenten in einer Größe, die nach der Komprimierung auf etwa 17 Gigabyte lokal betrieben werden kann. Trotz starker Leistungsindikatoren erfordern der hohe Token-Verbrauch und die langsame Inferenz eine praktische Abwägung zwischen Qualität und Geschwindigkeit.
bartowski präsentiert ein umfassendes Experiment zur Optimierung der Kalibrierungsdaten, die bei der Quantisierung von Modellen mit llama.cpp für imatrix verwendet werden, und kommt zu dem Schluss, dass die größten Verbesserungen bei niedrigen Bitraten auftreten, insbesondere bei Mixture-of-Experts-Modellen (MoE). Der neue Datensatz ist kleiner und fokussierter, kombiniert jedoch vielfältige Texte mit formatierten Unterhaltungen zur Tool-Nutzung.
Liquid AI hat die Modelle LFM2.5-2.6B und LFM2.5-2.6B-Base auf Hugging Face verfügbar gemacht. Sie unterstützen lokal Tool-Aufrufe und mehrstufige Workflows. Das Modell zielt auf den Betrieb schneller Agenten auf Computern und Smartphones ab und benötigt weniger als 2,5 Gigabyte Speicher.