快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 前天 · 星期五 · 11-20 11:47 约 2 分钟读完

腾讯混元Hy4开源落地,770B MoE模型权重四平台同步上线

摘要

腾讯混元团队11月20日宣布Hy4大模型正式开源,权重已在GitHub、Hugging Face、ModelScope和GitCode四平台同步上线。Hy4采用MoE架构,总参数770B、激活参数49B,上下文窗口突破100万Token,采用Apache 2.0许可证。至此混元LLM系列完成全量开源。

腾讯混元团队于11月20日宣布,Hy4大模型的模型权重正式对外开源,开发者可通过GitHub、Hugging Face、ModelScope和GitCode四个平台同步获取并自行部署。此次开放的是此前预告的权重文件,Hy4正式版本则早在11月4日就已发布。随着Hy4落地,混元LLM系列实现了全量开源,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4以及Hy4 flash等版本。

从架构看,Hy4采用MoE混合专家设计,总参数规模为770B,单次推理激活参数为49B,上下文窗口突破100万Token。与旗舰版同步开放的还有面向性价比场景的Hy4 flash,其总参数约2200亿,其中包含约635亿Engram参数,每个Token仅激活约120亿参数,同样支持最高100万Token上下文,并具备文本与图像输入能力。两者由此形成从旗舰能力到低成本规模化落地的梯次搭配。

在开源协议方面,Hy4及Hy4 preview均采用Apache 2.0许可证,允许商业使用与修改。腾讯混元同时发布了Hy4模型安全评估卡片(System Card),披露网络安全与生物安全等维度的评估结果。据官方说明,Hy4训练数据仅纳入PoC生成、漏洞修复等防守性网络安全内容,剔除了漏洞利用相关部分。

对AI行业从业者而言,Hy4的开源意味着百万级Token上下文与MoE架构能力可直接进入自部署环节,Apache 2.0许可也为商业集成降低了协议门槛。混元LLM系列的全量开放,则让开发者在旗舰与轻量版本之间拥有更完整的选型空间。

腾讯混元Hy4开源大模型MoE架构
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词