寒武纪Day 0适配商汤SenseNova Loop-9B,MLU平台打通循环计算推理链路
摘要
商汤发布SenseNova Loop-9B模型次日,寒武纪宣布完成Day 0适配,基于vllm_mlu打通该模型在MLU平台的推理链路,适配围绕Loop循环结构、MLU算子与mHC路由优化三方向展开,模型4bit量化后权重约4.9GB。
商汤科技于11月17日晚间发布SenseNova Loop-9B模型,寒武纪随即宣布已完成对该模型的Day 0适配。这意味着模型发布当日,其推理链路即在寒武纪MLU平台上跑通,适配工作基于vllm_mlu推进。
从架构上看,SenseNova Loop-9B通过Loop结构复用模型层参数,并结合流形约束超连接(mHC),在有限参数规模下扩展计算深度,主要面向复杂推理、代码、工具调用及多模态任务,重点优化在Agent、代码与数据分析场景中的表现。
寒武纪披露的适配工作集中在三个方向:Loop循环层展开、MLU算子适配与mHC路由优化。其中Loop循环结构是适配的核心技术点——模型以约9B参数,通过循环执行共享中间层,将32个物理解码层扩展为56次层计算。得益于这一结构,模型官方4bit量化后权重仅约4.9GB,部署显存需求可控制在10GB以内,有助于降低本地与私有化部署门槛。
对AI行业从业者而言,此次适配的价值在于循环计算架构在国产算力平台上的推理可行性得到验证。模型发布与硬件适配同日完成,也反映出模型厂商与芯片厂商在新型架构上的协同节奏正在加快。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗