快讯 23:38乐奇Rokid香港开设全球首家AI眼镜无人体验店,主打自助沉浸式零售23:30阶跃星辰 Step 5 Preview 登陆 FeatherlessAI,FP8 精度开放部署23:19英伟达推出1200亿参数Nemotron 3.5 Super VL,单GPU智能体吞吐量提升5倍 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期五 · 10-16 06:58 约 1 分钟读完

蚂蚁百灵开源Ling-3.1-flash:560B参数支持1M上下文,4卡即可部署

摘要

蚂蚁百灵开源Ling-3.1-flash模型,总参数约560B,每Token激活约25B,最高支持1M上下文。通过MXFP4量化与block-FP8方案,权重占用从534GB降至292GB,Hopper GPU部署由8卡减至4卡,智能指数41,输出速度约210 Token/秒。

蚂蚁百灵于10月15日宣布开源新一代大模型Ling-3.1-flash,该模型总参数规模约560B,每个Token激活约25B,上下文窗口最高支持1M。这一规格使其在开源阵营中具备较强的长文本处理能力,面向企业知识问答、办公助手等需要读取长资料的场景。

在Artificial Analysis的公开评测中,Ling-3.1-flash的智能指数为41,输出速度约为每秒210 Token。针对本地部署需求,团队对routed experts采用MXFP4量化,dense层保持block-FP8精度,使权重占用从约534GB压缩至292GB。在对应的Hopper GPU测试配置中,服务部署由8卡降至4卡,降低了具备服务器级GPU团队的硬件门槛。不过官方也指出,实际需求仍会随上下文长度、并发量和服务配置而变化。

为应对长资料处理,团队提供了长上下文并行推理方案(PCP / DCP),并加强了对JSON Schema的工具调用支持,便于与现有业务接口对接。在推理效率方面,通过算子融合与DSpark投机解码减少开销:在平均输入约25.47K Token、输出约224 Token、缓存命中率76%的模拟生产请求中,8卡Hopper配置下平均首Token时间为604毫秒,相邻输出Token平均间隔为3.28毫秒。这一表现旨在缓解长资料输入后的交互响应延迟问题。

蚂蚁百灵Ling-3.1-flash开源模型长上下文
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
13
完整版提示词