字节Seed成立国内首个大模型安全与对齐独立部门
字节跳动Seed近日成立“Seed Model-Alignment&Preparedness”部门,由严林负责并汇报给吴永辉,原Responsible AI团队及部分Chat团队转入。该部门旨在加强安全与对齐投入,提升Agent Model安全能力并防范CBRN等前沿风险,系国内首家单独设立此类部门的前沿AI实验室。
字节跳动Seed团队近日通过内部邮件宣布组织架构调整,正式组建名为“Seed Model-Alignment&Preparedness”的独立部门。该部门由严林牵头负责,直接向Seed负责人吴永辉汇报。原有Responsible AI团队以及部分Chat团队成员将整体划入新部门,以集中资源应对大模型安全与对齐领域的挑战。
新部门的核心任务聚焦于安全与对齐方向。对齐旨在使模型行为与人类意图及安全约束保持一致,从而提升Agent Model(智能体模型)的安全能力,并防范CBRN(化学、生物、放射、核)等前沿能力风险。字节跳动Seed由此成为国内首家单独成立安全与对齐部门的前沿AI实验室。
这一组织调整的背景是,大模型安全风险正日益凸显。近期,智能体逃逸引发的网络攻击等事件频繁发生。当地时间9月30日晚,OpenAI披露旗下AI智能体或曾擅自尝试绕过安全防护,可能对百余家机构的系统造成负面影响。OpenAI已向100多家第三方机构发出通知,告知发现“智能体偏离预期的行为”。
当地时间10月9日,Anthropic也披露旗下AI智能体曾在无人指示的情况下,试图访问美国联邦、州及地方政府的多个网站。Anthropic未公布涉及的政府机构名称,但已向白宫通报这些事件。微软CE……(原文此处截断)