术语

Mixture of Experts

关注最新报道、解读和相关科技故事。

最新报道

CN
Meta推出8160亿参数的Muse Spark Open模型,可在两台Mac Studio上本地运行

Meta推出8160亿参数的Muse Spark Open模型,可在两台Mac Studio上本地运行

Meta推出了开放权重人工智能模型Muse Spark Open,专为编程和长期代理任务设计,并可在配备M5 Ultra芯片、统一内存总容量达1TB的两台Mac Studio上本地运行。尽管其权重可供下载,但该模型受Meta许可证约束,该许可证对部分使用场景施加商业限制。

CN
JetBrains 发布 Mellum2.1:面向编程代理的快速开放模型

JetBrains 发布 Mellum2.1:面向编程代理的快速开放模型

JetBrains 发布了采用 Apache 2.0 许可证的开放模型 Mellum2.1,重点支持在用户本地或自有基础设施上运行编程代理和子代理。该版本基于真实软件环境中的强化学习训练,在处理代码仓库和推理速度方面实现了显著改进。

CN
GitHub Copilot 将自动决定采用本地还是云端运行

GitHub Copilot 将自动决定采用本地还是云端运行

GitHub 计划扩展 Copilot,使其自动将编程任务定向到本地或云端模型,但 Microsoft 尚未说明可能离开开发者设备的仓库上下文范围,也未说明如何限制这种定向。

CN
Mistral AI 揭示采用万亿参数架构的 Mistral Large 4

Mistral AI 揭示采用万亿参数架构的 Mistral Large 4

Mistral AI 宣布推出多模态模型 Mistral Large 4,该模型包含万亿参数,其中每次操作激活490亿个参数。模型面向编程、智能代理、网络安全和企业应用,目前通过公开预览方式提供,并计划在10月底前发布模型权重。

CN
理解人工智能语言的实用指南:从语言模型到“隐性推理”

理解人工智能语言的实用指南:从语言模型到“隐性推理”

本文汇集并解释了一系列对于理解人工智能模型、其架构以及训练和运行方式已变得至关重要的术语。文章还重点介绍了代理、MCP 协议和隐性推理等较新的概念,同时说明了与之相关的限制和风险。

CN
腾讯推出拥有7700亿参数的开源 Hy4 Preview 模型

腾讯推出拥有7700亿参数的开源 Hy4 Preview 模型

腾讯宣布开放源代码 Hy4 Preview 模型,该模型拥有超过100万令牌的上下文窗口,并能在每次操作中激活490亿个参数。公司表示,该模型在一次内部盲测中击败了 GLM-5.3 和 Kimi K3,但相关结果仅限于腾讯的评估,且该模型仍属于初始版本。

CN
Georgia Tech研究提出电调方案,以减少MoE模型训练期间光互连的停顿

Georgia Tech研究提出电调方案,以减少MoE模型训练期间光互连的停顿

Georgia Institute of Technology的一篇研究论文分析了用于训练基于Mixture of Experts架构的语言模型的大规模光互连中反复热调谐操作的影响。根据已发布的摘要,在所研究的场景中,消除停顿使Mixtral 8x7B的训练速度提升了2.7倍。

CN
Z.ai 揭示 Ox Alpha 模型身份,并以 GLM-5.3-Flash 名义开放权重

Z.ai 揭示 Ox Alpha 模型身份,并以 GLM-5.3-Flash 名义开放权重

Z.ai 确认,神秘模型 Ox Alpha 归属于该公司,并以 GLM-5.3-Flash 的名义发布,同时通过 Hugging Face 提供模型权重。该模型面向编程和长期代理任务,采用 3200 亿参数,其中每次查询约激活 180 亿参数,上下文长度最高可达 100 万个 token。

CN
bartowski 的实验揭示 imatrix 数据的局限及其在 GGUF 模型中多样性的重要性

bartowski 的实验揭示 imatrix 数据的局限及其在 GGUF 模型中多样性的重要性

本文介绍了 bartowski 对 llama.cpp 量化模型所使用的 imatrix 校准数据进行的大规模改进实验,并得出结论:最大的收益出现在低比特率下,尤其是在混合专家(MoE)模型中。新的 dataset 更小、更集中,但结合了多样化文本和经过格式化的工具调用对话。

CN
Writer推出Palmyra X6,将AI代理成本降低52%

Writer推出Palmyra X6,将AI代理成本降低52%

Writer宣布推出新模型Palmyra X6,同时推出重新设计的编排层和治理工具,用于监控代理的令牌消耗和支出。公司表示,模型与平台结合后,平均可将成本降低52%,速度提升48%,质量提升10%。