腾讯混元Hy4开源落地,770B MoE模型权重四平台同步上线
腾讯混元团队11月20日宣布Hy4大模型正式开源,权重已在GitHub、Hugging Face、ModelScope和GitCode四平台同步上线。Hy4采用MoE架构,总参数770B、激活参数49B,上下文窗口突破100万Token,采用Apache 2.0许可证。至此混元LLM系列完成全量开源。
腾讯混元团队于11月20日宣布,Hy4大模型的模型权重正式对外开源,开发者可通过GitHub、Hugging Face、ModelScope和GitCode四个平台同步获取并自行部署。此次开放的是此前预告的权重文件,Hy4正式版本则早在11月4日就已发布。随着Hy4落地,混元LLM系列实现了全量开源,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4以及Hy4 flash等版本。
从架构看,Hy4采用MoE混合专家设计,总参数规模为770B,单次推理激活参数为49B,上下文窗口突破100万Token。与旗舰版同步开放的还有面向性价比场景的Hy4 flash,其总参数约2200亿,其中包含约635亿Engram参数,每个Token仅激活约120亿参数,同样支持最高100万Token上下文,并具备文本与图像输入能力。两者由此形成从旗舰能力到低成本规模化落地的梯次搭配。
在开源协议方面,Hy4及Hy4 preview均采用Apache 2.0许可证,允许商业使用与修改。腾讯混元同时发布了Hy4模型安全评估卡片(System Card),披露网络安全与生物安全等维度的评估结果。据官方说明,Hy4训练数据仅纳入PoC生成、漏洞修复等防守性网络安全内容,剔除了漏洞利用相关部分。
对AI行业从业者而言,Hy4的开源意味着百万级Token上下文与MoE架构能力可直接进入自部署环节,Apache 2.0许可也为商业集成降低了协议门槛。混元LLM系列的全量开放,则让开发者在旗舰与轻量版本之间拥有更完整的选型空间。