高通携Cirrascale开放AI200推理加速器客户评估,单机架支持10T级模型
摘要
高通宣布与AI私有云企业Cirrascale合作,向部分客户开放Dragonfly AI200推理加速器评估。该产品为高通首款机架级AI方案,单卡配768GB LPDDR5X内存,140kW液冷机架集成56卡、总内存43TB、带宽0.414 PB/s,可单机架运行10T级大模型推理。
高通在推理加速器市场的布局进入客户验证阶段。当地时间11月17日,该公司宣布与AI私有云服务商Cirrascale达成合作,向部分客户开放Dragonfly AI200推理加速器的评估通道,客户可借助云环境实测自身AI工作负载在该芯片上的运行表现。
Dragonfly AI200是高通推出的首款机架级人工智能解决方案,其硬件规格围绕大模型推理场景设计:单卡配备768GB LPDDR5X内存,纵向扩展依托PCIe Gen6,横向扩展则采用RoCE协议,兼顾机架内互联与跨节点组网需求。
在整机架层面,该方案采用140kW液冷ORv3架构,每个机架集成56张加速卡,总内存容量达到43TB,内存带宽为0.414 PB/s。凭借这一配置,单一机架即可承载10T级超大模型的推理任务,高通方面称其可带来更低的总持有成本。
从行业视角看,此次评估开放意味着高通正试图在由GPU主导的AI算力市场中,以推理专用加速器和机架级交付形态争取客户验证机会。Cirrascale的私有云环境则为客户提供了在采购决策前接触该硬件的途径,后续评估反馈将影响该产品的商业化节奏。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗