腾讯混元推出Hy4 flash:224B总参12B激活,单任务成本降至Hy4的5%
摘要
腾讯混元正式发布Hy4 flash模型,总参数量224B、每token激活12B,支持多模态输入与100万token上下文。官方称其为迄今性价比最高的Hy模型,WorkIndex评测中单任务成本仅为Hy4的1/20、Hy4 preview的1/13,综合效果略优于Hy4 preview。
腾讯混元团队11月16日宣布推出Hy4 flash,官方将其定位为迄今性价比最高的Hy模型。该模型总参数量224B,其中包含64B Engram参数,每个token激活12B参数,支持多模态输入与100万token上下文长度,API价格较Hy4大幅降低。
高性价比来自预训练、后训练与推理三个阶段的协同优化。预训练阶段引入混合注意力、LatentMoE与Engram等架构,其中Engram为可扩展的查表式参数模块,用于以较低算力成本扩充模型容量,KV cache大小降至Hy3的1/24、Hy4的1/6。
后训练阶段通过自蒸馏Hy4获得综合智能水平,再经强化学习将端到端任务输出长度压缩50%。推理阶段结合megakernel、4bit量化与dflash等手段,解码速度超过150 tps,支持大规模低成本部署运营。
在官方构建的WorkBuddy典型任务评测集WorkIndex上,Hy4 flash单任务成本仅为Hy4 preview的1/13、Hy4的1/20,以及DeepSeek-V4.1-Flash-1017(max档位、忙时价格)的1/8。综合效果上,Hy4 flash略优于Hy4 preview。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗