快讯 22:26李在明视察蔚山在建数据中心,强调AI竞赛速度决定成败08:00Together AI 披露提示词泄露事件:编码 agent 误传凭证致样本外泄08:00Qwen4 Max登陆Together AI,1M上下文加持整仓bug修复 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 昨天 · 星期六 · 11-21 11:24 约 1 分钟读完

腾讯混元回应参数规模之争:Hy4仍有改进空间,将训练更大模型

摘要

腾讯混元团队在Reddit AMA中回应模型参数策略,称Hy3和Hy4已证明小模型可超越更大模型且成本更低,但Hy4仍有很大改进空间,将投入大规模强化学习并计划训练更大规模模型。

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨率团队在Reddit举行了一场持续120分钟的AMA,面向全球开发者回应混元相关问题。

针对外界关于字节跳动、Kimi等厂商推进3万亿乃至5万亿参数超大模型、而混元仍停留在7000亿参数的疑问,团队给出了自己的判断:Hy3和Hy4已经证明,做得扎实的小模型同样能超过更大的模型,同时成本更低,研发过程中也能获得更多积累。

不过团队并未回避现有产品的不足。他们表示,Hy4仍有很大的改进空间,尤其是通过后训练手段。目前团队正投入大量精力进行大规模强化学习,并持续改善用户体验与模型安全,同时计划训练更大规模的模型。

在具体产品路线上,对于是否推出240亿至310亿参数的稠密模型,团队回应“有可能,正在考虑”;对于是否发布对标Qwen 27B稠密模型的小模型,答案同样是“有可能”,但明确表示大概不会推出100B以下、专门面向编程的模型。

公开资料显示,姚顺雨本科毕业于清华大学姚班,获普林斯顿大学计算机科学博士学位,2024年加入OpenAI并参与智能体产品operator与deep research的开发,其研究聚焦语言智能体与现实世界交互。

腾讯混元姚顺雨大模型参数Reddit AMA
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
27
模型产品档案
60
企业落地案例
33
完整版提示词