Инструменты

vLLM

Следите за последними материалами, объяснениями и связанными технологическими историями.

Последние материалы

CN
JetBrains выпускает Mellum2.1 — быструю открытую модель для программных агентов

JetBrains выпускает Mellum2.1 — быструю открытую модель для программных агентов

JetBrains выпустила открытую модель Mellum2.1 по лицензии Apache 2.0, ориентированную на локальный запуск программных агентов и субагентов или их работу на собственной инфраструктуре пользователя. Версия основана на обучении с подкреплением в реальных программных средах и включает значительные улучшения в работе с репозиториями кода и скорости вывода.

CN
Почему «фабрикам искусственного интеллекта» нужно больше, чем один кластер Kubernetes?

Почему «фабрикам искусственного интеллекта» нужно больше, чем один кластер Kubernetes?

В статье CNCF утверждается, что эксплуатация корпоративной инфраструктуры искусственного интеллекта заключается не в развертывании одной модели или одного кластера, а в управлении общим пулом GPU-модулей для нескольких команд с балансировкой между эффективностью использования, изоляцией и стоимостью. В статье рассматриваются технологические уровни, включая подготовку ресурсов, распределение, планирование, сети, хранилища, мониторинг и биллинг.

CN
Perplexity и Nvidia запускают Portable Computer для локального запуска ИИ-агентов

Perplexity и Nvidia запускают Portable Computer для локального запуска ИИ-агентов

Perplexity запустила платформу Portable Computer для локального запуска своих агентов на устройствах пользователей — сначала на Nvidia DGX Spark и Linux-компьютерах с видеокартами RTX и не менее чем 24 ГБ памяти. По умолчанию система хранит модели, файлы и рабочие процессы на устройстве, а пользователь может запросить подтверждение перед передачей отдельного шага более мощной облачной модели.

CN
CohereLabs выпускает модель North Micro Vision с открытыми весами для обработки изображений в исходном разрешении

CohereLabs выпускает модель North Micro Vision с открытыми весами для обработки изображений в исходном разрешении

CohereLabs представила North-Micro-Vision-Instruct — модель зрения и языка с открытыми весами, 2,4 млрд параметров и поддержкой обработки изображений в исходном разрешении, распространяемую по лицензии Apache 2.0. Модель предназначена для приложений понимания документов и диаграмм, OCR и специализированной донастройки, а также включает поддержку сообщества для MLX-VLM и рецепт AutoModel для развёртывания на графических процессорах NVIDIA.

CN
AX-Ray выявляет дефекты каузальной утечки в двух общедоступных моделях искусственного интеллекта

AX-Ray выявляет дефекты каузальной утечки в двух общедоступных моделях искусственного интеллекта

Проект VIDRAFT AX-Ray предлагает метод оценки моделей, выходящий за рамки показателей производительности, после выявления и повторного подтверждения дефектов, охарактеризованных как каузальная утечка, в моделях Zyphra/Zamba2-1.2B и nvidia/Nemotron-H-8B-Base-8K. Фреймворк относит эти случаи к дефектам, препятствующим развертыванию, отличая их от проблем серверного пути или API.

CN
Liquid AI تطلق نموذج LFM2.5-2.6B لتشغيل الوكلاء محليًا على الأجهزة

Liquid AI تطلق نموذج LFM2.5-2.6B لتشغيل الوكلاء محليًا على الأجهزة

أعلنت Liquid AI إتاحة نموذجي LFM2.5-2.6B وLFM2.5-2.6B-Base على Hugging Face، مع دعم استدعاء الأدوات وسير العمل متعدد الخطوات محليًا. ويستهدف النموذج تشغيل وكلاء سريعين على الحواسيب والهواتف، مع استهلاك أقل من 2.5 غيغابايت من الذاكرة.