商汤发布SenseNova Loop-9B:循环结构复用参数,10GB显存可跑27B级性能
摘要
商汤科技11月17日发布SenseNova Loop-9B模型,通过Loop结构复用模型层参数并结合流形约束超连接,在约9B参数规模下扩展计算深度。官方4bit量化后权重仅约4.9GB,部署显存需求低至10GB内,Agent与数据分析评测中表现接近27B级别模型。
商汤科技于11月17日晚间推出SenseNova Loop-9B模型,延续Preview版本对参数效率的探索路径。该模型的核心思路并非简单堆叠参数,而是借助Loop结构对模型层参数进行复用,并引入流形约束超连接(mHC),在约9B参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务。
在结构设计上,模型将第4至27层组成共享权重的循环模块并执行两次,使一次前向传播完成56次解码器层计算,从而把32个物理解码层扩展为56次层计算。同时,双流mHC通过可学习映射对循环模块中的两条残差流进行信息路由与融合;解码器以四层为一组,采用三层线性注意力与一层全注意力相结合的混合注意力方案。模型支持文本、图像输入和文本输出,上下文长度最高可达512K tokens。
部署效率是该模型的一大看点。得益于Loop的高效循环结构,官方4bit量化后权重仅约4.9GB,部署显存需求低至10GB以内,显著拓宽了可部署的硬件范围,使低显存芯片获得前沿27B级别模型性能成为可能。
官方披露的评测数据显示,该模型在Agent与数据分析场景中展现出与Qwen3.8-27B相当的竞争力:NL2Repo得分为41.36,接近后者的44.60;AIDABench得分为65.31,略高于后者的65.01。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗