Herramientas

llama.cpp

Sigue la cobertura, explicaciones e historias tecnológicas relacionadas.

Última cobertura

CN
¿Cómo construye Rust aplicaciones de modelos lingüísticos con Rig?

¿Cómo construye Rust aplicaciones de modelos lingüísticos con Rig?

Una presentación práctica conjunta de JetBrains y la Rust Foundation explica cómo utilizar la biblioteca Rig para construir agentes de inteligencia artificial en Rust, con compatibilidad para proveedores de modelos, herramientas, RAG y modelos locales. El material también destaca un método para probar integraciones de modelos mediante el registro de solicitudes HTTP y su reproducción en un entorno de integración continua.

CN
Qwen3.8-27B acerca los modelos avanzados de IA a la ejecución local

Qwen3.8-27B acerca los modelos avanzados de IA a la ejecución local

El modelo abierto Qwen3.8-27B de Alibaba ofrece capacidades multimodales, de codificación y de agentes de software en un tamaño que puede ejecutarse localmente tras comprimirse hasta unos 17 gigabytes. A pesar de sus sólidos indicadores de rendimiento, su elevado consumo de tokens y la lentitud de la inferencia exigen un equilibrio práctico entre calidad y velocidad.

CN
El experimento de bartowski revela los límites de los datos de imatrix y la importancia de su diversidad en los modelos GGUF

El experimento de bartowski revela los límites de los datos de imatrix y la importancia de su diversidad en los modelos GGUF

bartowski presenta un amplio experimento para mejorar los datos de calibración utilizados con imatrix al cuantizar modelos mediante llama.cpp, y concluye que las mayores ganancias aparecen con tasas de bits bajas, especialmente en modelos de expertos múltiples MoE. El nuevo dataset es más pequeño y específico, pero combina textos diversos y conversaciones formateadas para el uso de herramientas.

CN
Liquid AI lanza el modelo LFM2.5-2.6B para ejecutar agentes localmente en dispositivos

Liquid AI lanza el modelo LFM2.5-2.6B para ejecutar agentes localmente en dispositivos

Liquid AI anunció la disponibilidad de los modelos LFM2.5-2.6B y LFM2.5-2.6B-Base en Hugging Face, con compatibilidad para la invocación de herramientas y flujos de trabajo de varios pasos localmente. El modelo está dirigido a ejecutar agentes rápidos en ordenadores y teléfonos, con un consumo inferior a 2,5 gigabytes de memoria.