工具

vLLM

关注最新报道、解读和相关科技故事。

最新报道

CN
JetBrains 发布 Mellum2.1:面向编程代理的快速开放模型

JetBrains 发布 Mellum2.1:面向编程代理的快速开放模型

JetBrains 发布了采用 Apache 2.0 许可证的开放模型 Mellum2.1,重点支持在用户本地或自有基础设施上运行编程代理和子代理。该版本基于真实软件环境中的强化学习训练,在处理代码仓库和推理速度方面实现了显著改进。

CN
为什么“人工智能工厂”需要的不只是一个 Kubernetes 集群?

为什么“人工智能工厂”需要的不只是一个 Kubernetes 集群?

CNCF 的一篇文章指出,运行企业级人工智能基础设施并不意味着部署单个模型或集群,而是要为多个团队管理共享的 GPU 单元集群,同时平衡利用率、隔离性和成本。文章介绍了包括供应、分配、调度、网络、存储、监控和计费在内的技术层。

CN
Perplexity 与 Nvidia 推出 Portable Computer,在本地运行人工智能代理

Perplexity 与 Nvidia 推出 Portable Computer,在本地运行人工智能代理

Perplexity 推出 Portable Computer 平台,让其代理在用户设备上本地运行,首批支持 Nvidia DGX Spark 和配备至少 24GB 显存 RTX 显卡的 Linux 电脑。默认情况下,系统会将模型、文件和任务保留在设备上,并可在将特定步骤升级到更强大的云端模型之前请求用户批准。

CN
CohereLabs 发布 North Micro Vision 开放权重模型,支持原生分辨率图像处理

CohereLabs 发布 North Micro Vision 开放权重模型,支持原生分辨率图像处理

CohereLabs 发布了 North-Micro-Vision-Instruct 模型。这是一款开放权重视觉语言模型,包含 24 亿个参数,支持以原始分辨率处理图像,并采用 Apache 2.0 许可证。该模型面向文档、图表理解、OCR 和定制微调应用,同时提供社区支持的 MLX-VLM 以及用于在 NVIDIA 图形处理单元上部署的 AutoModel 配方。

CN
AX-Ray揭示两个公共人工智能模型中的因果泄漏缺陷

AX-Ray揭示两个公共人工智能模型中的因果泄漏缺陷

VIDRAFT旗下AX-Ray项目提出了一种超越性能分数的模型评估方法,在确定并重复验证Zyphra/Zamba2-1.2B和nvidia/Nemotron-H-8B-Base-8K两个模型存在其所称的因果泄漏缺陷后,将这些案例归入阻碍部署的缺陷,同时将其与服务路径或应用程序编程接口问题区分开来。

CN
Liquid AI推出LFM2.5-2.6B模型,在设备本地运行智能体

Liquid AI推出LFM2.5-2.6B模型,在设备本地运行智能体

Liquid AI宣布在Hugging Face上提供LFM2.5-2.6B和LFM2.5-2.6B-Base模型,支持在本地调用工具和执行多步骤工作流。该模型旨在让计算机和手机运行快速智能体,内存占用低于2.5 GB。