英伟达开源1200亿参数多模态模型,同步推出两款端侧Bolt模型
摘要
英伟达发布开源Nemotron 3.5 Super VL多模态模型,参数规模达1200亿,官方称其任务完成速度比同类次优模型快5倍。同时推出Bolt 74B-A9B(24GB)与Bolt E4B(4GB)两款端侧模型,后者将于10月23日上线。模型采用2-bit原生量化,可在RTX及DGX Spark本地运行,权重、数据集与训练配方均已开放。
英伟达在开源模型领域再落一子。该公司近日发布Nemotron 3.5 Super VL,这是一款参数规模达1200亿的多模态模型,官方将其定位为同类别中任务完成速度最快的方案,并称其比同类次优模型快5倍。
与Super VL同步亮相的还有两款面向端侧场景的Bolt系列模型:Bolt 74B-A9B与Bolt E4B,前者体积为24GB,后者仅4GB。其中Bolt E4B计划于10月23日正式上线,进一步压低端侧部署的硬件门槛。
技术层面,这批模型采用2-bit原生量化方案,可在RTX系列显卡及DGX Spark上实现本地运行,无需依赖云端算力。英伟达同时开放了模型权重、数据集和训练配方,已有数十家机构基于自有数据开展后训练,生态反馈初步形成。
从行业视角看,英伟达正试图在模型开源与端侧落地两条线上同时建立影响力。1200亿参数级别的多模态模型以开源形式释出,叠加2-bit量化带来的本地运行能力,或将对端侧AI应用的部署成本与响应效率产生直接影响。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗