美光探索近GPU NAND方案,或突破AI模型显存瓶颈
摘要
美光正研发高耐久性NAND闪存模块,计划将其部署于GPU近旁,形成名为“近GPU NAND”的存储层。该方案旨在显存与普通存储间提供高速缓冲,使GPU可直连数百GB存储池,有望支撑更大规模AI大语言模型运行,缓解显存容量限制。
据行业媒体报道,美光科技正在推进一项存储架构创新,其核心思路是将高耐久性NAND闪存模块从传统存储池中解耦,部署至更靠近GPU计算核心的位置。这一被暂称为“近GPU NAND”的技术路线,意在打破当前AI加速卡在显存容量上的物理桎梏。
与现有通过PCIe等多级协议连接远端存储阵列的方案不同,近GPU NAND设想将存储介质直接集成于GPU封装基板或PCB之上,其工作逻辑与HBM或GDDR7显存类似,但定位并非替代显存,而是构建一个介于显存与普通存储之间的中间层。该层可提供数百GB的存储池,供GPU直接高速访问。
值得关注的是,此类NAND芯片在存储密度上做出取舍,不再追求TLC或QLC的大容量堆叠,而是将设计重心转向更高的I/O吞吐与带宽表现。这一特性使其非常适合承载AI推理中非低延迟敏感但数据量庞大的工作负载,充当高效的高速缓冲层。
业界分析认为,若该方案成功落地,大语言模型的推理过程将不再被显存容量硬性约束。模型参数与中间结果可部分驻留于近GPU NAND层,从而在单卡或单节点上运行更大规模的模型,为AI基础设施的部署密度带来新的想象空间。美光尚未公布具体产品路线图与量产时间表。
目前,该技术仍处于探索阶段,其耐久性指标与系统级集成方案是后续落地的关键挑战。不过,这一方向已反映出存储厂商正围绕AI工作负载特性,重新划分存储层级的功能边界。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗