腾讯混元开源Hy4权重:770B总参数多模态MoE模型亮相
摘要
腾讯混元发布Hy4开放权重,定位原生多模态旗舰MoE模型,总参数770B、激活49B,支持1M上下文。同步发布含安全评估的Hy4 System Card,并在GitHub、Hugging Face提供权重及GGUF下载,团队将于本周五在r/LocalLLaMA举行AMA。
腾讯混元在开源模型方向再落一子。其最新发布的Hy4以开放权重形式对外提供,官方将其定位为原生多模态旗舰级MoE模型,参数规模与上下文能力均指向当前开源阵营的前沿区间。
从架构指标看,Hy4总参数为770B,推理时激活参数为49B,支持1M上下文长度。这一组合意味着模型在保持稀疏激活带来的推理效率的同时,具备处理超长输入的能力,多模态属性则表明其原生支持跨模态任务,而非在纯文本模型上后期拼接视觉模块。
配套材料方面,腾讯混元同步发布了Hy4 System Card,其中包含安全评估报告,为开发者和研究者了解模型能力边界与风险提供了参考。权重获取渠道覆盖GitHub与Hugging Face,并提供GGUF格式下载,便于在不同推理框架和本地环境中部署。
为回应社区关注,混元团队计划于本周五太平洋时间上午8点至10点在r/LocalLLaMA举行AMA,就Hy4的技术细节与使用问题与开发者直接交流。对关注开源大模型部署与多模态应用的从业者而言,权重开放叠加社区答疑,将加快该模型在实际场景中的验证节奏。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗