新芯航途X7 Ultra大模型芯片量产,中国首发Armv9车规级CPU
摘要
新芯航途发布X7 Ultra大模型芯片并实现量产,NPU计算利用率达98.7%,内存带宽消耗较行业旗舰下降80%、能效提升100%,同时中国首发量产Armv9车规级CPU,性能提升20%。
10月29日,新芯航途(XHEART)在发布会上推出全新X7 Ultra大模型芯片,CEO李宗霖现场完成发布。该芯片面向大模型推理场景设计,主打超大核NPU架构,其核内数据交互相较核间交互在互联速率上实现TB/s数量级提升。
在架构细节上,X7 Ultra采用多级缓存设计以支撑大容量、高并发负载,从而压低推理时延与功耗。芯片内置高精度大模型专用算子加速引擎,针对Layernorm、Softmax、Transpose等Transformer关键算子做了硬件级优化,并原生支持FP16/FP32高精度向量计算以保障模型精度。借助架构与工具链的协同,该芯片支持可部署模型参数量提升10倍,使更大模型能够在车端高效运行。
官方公布的数据显示,X7 Ultra的NPU硬件并行度充分释放了大模型推理潜能,计算利用率达到98.7%;与行业旗舰产品相比,其内存带宽消耗下降80%,能效提升100%。
除NPU外,X7 Ultra还在中国首发量产Armv9车规级CPU,性能提升20%、能效提升10%。其大集群架构改善了多核协同与L3访存性能,并集成全新SVE2向量处理引擎,DSP性能较上一代NEON更强。
对大模型上车而言,这组指标指向同一方向:在有限的车端功耗与带宽条件下承载更大参数量的模型。X7 Ultra的量产落地,也为车规级芯片在大模型推理赛道提供了一个可供对标的样本。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗