阿里Qwen4-Max正式上线:2.4万亿参数MoE架构,任务成本降超60%
阿里通义千问团队11月16日推出旗舰模型Qwen4-Max正式版,采用稀疏MoE架构,主干参数2.4万亿,原生支持视觉理解与100万Token上下文,任务成本较前代降低超60%,开发者可通过Token Plan或API调用,后续将开源小尺寸模型。
阿里通义千问团队于11月16日宣布,新一代旗舰模型Qwen4-Max正式上线千问AI平台。该模型采用稀疏MoE(混合专家)架构,主干参数规模达到2.4万亿,原生支持视觉理解,并提供100万Token的上下文窗口。与11月11日先行开放的限时预览版不同,此次为正式版本,开发者可通过Token Plan或API进行调用。
在架构设计上,Qwen4-Max围绕Attention、Residual和Embedding三个层面进行了系统性调整。据官方介绍,模型每四层中有三层使用Gated DeltaNet将历史信息压缩为固定状态,剩余一层以Qwen Sparse Attention按block粒度选择相关上下文,从而降低长序列的注意力计算开销;Gated Residual将残差流扩展为四条并行分支,增强跨层信息传递;N-gram Embedding则在第二层以查表方式提供局部token模式表示,以较低额外算力扩展模型容量。
官方表示,新模型在提升复杂工作任务处理能力的同时,能够减少Token消耗并降低任务成本。相比Qwen3.8-Max,Qwen4-Max的整体能力显著提升,任务成本降低超过60%。该模型面向办公生产力、创意创作等场景,官方博客称其在编程、办公及长程任务等综合性能对比中表现更优。
此外,阿里方面透露后续将开源小尺寸模型,进一步扩展Qwen4系列的产品矩阵。对开发者而言,正式版上线意味着可在生产环境中稳定调用这一旗舰模型,而成本的大幅下降或将影响其在长上下文与复杂任务场景中的采用节奏。