华为昇腾实现Kimi K3.1 Pro推理0 Day适配,2.8万亿参数MoE模型落地超节点
月之暗面11月4日发布Kimi K3.1 Pro完整权重,该模型拥有2.8万亿参数、百万token上下文并原生支持视觉理解。华为昇腾基于vLLM Ascend与SGLang同步完成0 Day推理适配,覆盖Atlas 800 A3、Atlas 900 A3 SuperPod及昇腾950超节点系列。
11月4日,月之暗面对外公布Kimi K3.1 Pro的完整模型权重。同日,华为昇腾宣布完成对该模型的0 Day推理适配,用户与开发者可在模型发布首日即开展部署与应用验证。
Kimi K3.1 Pro是K3.1系列的首个模型,参数规模达2.8万亿,原生支持视觉理解,并具备百万token上下文窗口。相较于K3,新模型进一步扩大后训练规模,在代码开发、3D创作、金融研究、事实准确性和长程智能体任务等方向实现能力提升。借助百万级上下文,模型能够综合利用长篇文档、代码及多轮交互中的任务信息,结合视觉理解与工具调用完成多步骤任务,面向软件研发、企业知识处理等复杂场景。
在计算架构上,K3.1 Pro采用混合线性注意力设计,融合KDA线性注意力层与DSA稀疏注意力层。要释放这一架构的计算效率,需在算子执行、缓存管理与跨卡通信等环节进行协同优化。昇腾方面基于vLLM Ascend与SGLang实现同步适配,支持Atlas 800 A3、Atlas 900 A3 SuperPod超节点以及昇腾950超节点系列产品进行推理部署。
针对模型新增的稀疏注意力机制、百万级上下文及推理服务需求,昇腾推理团队依托此前Kimi K3的适配经验,提前开展模型分析并推进算子与框架层面的协同优化。此次0 Day适配意味着国产算力平台在超大规模MoE模型发布当日即可提供可用的推理部署路径,为相关模型的工程化落地缩短了准备周期。