Herramientas

vLLM

Sigue la cobertura, explicaciones e historias tecnológicas relacionadas.

Última cobertura

CN
JetBrains lanza Mellum2.1 como modelo abierto y rápido para agentes de programación

JetBrains lanza Mellum2.1 como modelo abierto y rápido para agentes de programación

JetBrains ha lanzado el modelo abierto Mellum2.1 bajo la licencia Apache 2.0, centrado en ejecutar agentes de programación y subagentes localmente o en la infraestructura propia del usuario. La versión se basa en entrenamiento mediante aprendizaje por refuerzo dentro de entornos de software reales, con importantes mejoras en el manejo de repositorios de código y la velocidad de inferencia.

CN
¿Por qué las «fábricas de inteligencia artificial» necesitan más que un clúster de Kubernetes?

¿Por qué las «fábricas de inteligencia artificial» necesitan más que un clúster de Kubernetes?

Un artículo de la CNCF sostiene que operar una infraestructura empresarial de inteligencia artificial no consiste en desplegar un modelo o un único clúster, sino en gestionar una flota compartida de unidades GPU para varios equipos, equilibrando utilización, aislamiento y costes. El artículo presenta capas técnicas que incluyen aprovisionamiento, asignación, planificación, redes, almacenamiento, supervisión y facturación.

CN
Perplexity y Nvidia lanzan Portable Computer para ejecutar agentes de inteligencia artificial localmente

Perplexity y Nvidia lanzan Portable Computer para ejecutar agentes de inteligencia artificial localmente

Perplexity lanzó la plataforma Portable Computer para ejecutar sus agentes localmente en los dispositivos de los usuarios, comenzando con Nvidia DGX Spark y computadoras Linux equipadas con tarjetas RTX con al menos 24 GB de memoria. El sistema mantiene los modelos, los archivos y el trabajo en el dispositivo de forma predeterminada, con la posibilidad de solicitar la aprobación del usuario antes de escalar un paso específico a un modelo en la nube más potente.

CN
CohereLabs lanza el modelo North Micro Vision de pesos abiertos para procesar imágenes en su resolución nativa

CohereLabs lanza el modelo North Micro Vision de pesos abiertos para procesar imágenes en su resolución nativa

CohereLabs ha lanzado North-Micro-Vision-Instruct, un modelo de visión y lenguaje de pesos abiertos que incluye 2.400 millones de parámetros y admite el procesamiento de imágenes en su resolución nativa, con licencia Apache 2.0. El modelo está orientado a aplicaciones de comprensión de documentos y diagramas, OCR y ajuste personalizado, e incluye compatibilidad comunitaria con MLX-VLM y una receta de AutoModel para su implementación en unidades de procesamiento gráfico de NVIDIA.

CN
AX-Ray revela fallos de filtración causal en dos modelos públicos de IA

AX-Ray revela fallos de filtración causal en dos modelos públicos de IA

El proyecto AX-Ray de VIDRAFT presenta un método para evaluar modelos que va más allá de las puntuaciones de rendimiento, tras identificar y reproducir defectos que describió como filtración causal en los modelos Zyphra/Zamba2-1.2B y nvidia/Nemotron-H-8B-Base-8K. El marco clasifica estos casos como defectos que impiden el despliegue y los distingue de los problemas del canal de servicio o de la interfaz de programación de aplicaciones.

CN
Liquid AI lanza el modelo LFM2.5-2.6B para ejecutar agentes localmente en dispositivos

Liquid AI lanza el modelo LFM2.5-2.6B para ejecutar agentes localmente en dispositivos

Liquid AI anunció la disponibilidad de los modelos LFM2.5-2.6B y LFM2.5-2.6B-Base en Hugging Face, con compatibilidad para la invocación de herramientas y flujos de trabajo de varios pasos localmente. El modelo está dirigido a ejecutar agentes rápidos en ordenadores y teléfonos, con un consumo inferior a 2,5 gigabytes de memoria.