面对大模型参数规模、上下文长度与智能体应用的同步扩张，GPU显存正承受越来越大的压力。英伟达在11月5日发布的技术解读中判断，HBM供应趋紧、价格上升的态势在可预见的未来仍将延续，内存已成为制约AI算力释放的关键环节。

英伟达给出的应对思路是“全栈协同设计”：不再孤立地堆叠显存容量，而是把GPU、CPU、网络、存储和软件视为一个整体统一规划，目标是让AI工厂各层级中的每一字节内存都产生更高价值。官方将HBM比作仓库、内存带宽比作装卸口，指出容量再大，若数据进出速度跟不上，同样会形成“内存墙”，新增容量难以转化为实际服务能力。

推理场景下的矛盾尤为突出。昂贵的HBM既要承载模型权重，也要保存记录上下文的KV缓存；智能体工作流在多次模型与工具调用间持续携带历史信息，部分场景需处理多达300万个token，检索增强生成（RAG）引入企业资料后还会进一步推高占用。

为此，英伟达在多个层面同步压缩与调度内存：NVFP4低精度格式用于压缩模型权重和KV缓存；NVL72系统可将模型权重分散到最多72颗GPU；Vera CPU的大容量LPDDR内存为暂停的上下文提供就近缓冲；Dynamo推理软件则把不活跃上下文迁移至CMX上下文存储，并在复用前取回。官方披露，在这一组合下HBM用量仅增加约3%，每美元智能体吞吐量最高提升30倍。