快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

大厂 11-18 · 星期三 · 11-18 00:58 约 1 分钟读完

寒武纪Day 0适配商汤SenseNova Loop-9B,MLU平台打通循环计算推理链路

摘要

商汤发布SenseNova Loop-9B模型次日,寒武纪宣布完成Day 0适配,基于vllm_mlu打通该模型在MLU平台的推理链路,适配围绕Loop循环结构、MLU算子与mHC路由优化三方向展开,模型4bit量化后权重约4.9GB。

商汤科技于11月17日晚间发布SenseNova Loop-9B模型,寒武纪随即宣布已完成对该模型的Day 0适配。这意味着模型发布当日,其推理链路即在寒武纪MLU平台上跑通,适配工作基于vllm_mlu推进。

从架构上看,SenseNova Loop-9B通过Loop结构复用模型层参数,并结合流形约束超连接(mHC),在有限参数规模下扩展计算深度,主要面向复杂推理、代码、工具调用及多模态任务,重点优化在Agent、代码与数据分析场景中的表现。

寒武纪披露的适配工作集中在三个方向:Loop循环层展开、MLU算子适配与mHC路由优化。其中Loop循环结构是适配的核心技术点——模型以约9B参数,通过循环执行共享中间层,将32个物理解码层扩展为56次层计算。得益于这一结构,模型官方4bit量化后权重仅约4.9GB,部署显存需求可控制在10GB以内,有助于降低本地与私有化部署门槛。

对AI行业从业者而言,此次适配的价值在于循环计算架构在国产算力平台上的推理可行性得到验证。模型发布与硬件适配同日完成,也反映出模型厂商与芯片厂商在新型架构上的协同节奏正在加快。

寒武纪商汤科技SenseNova Loop-9BMLU适配
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词