华为开源盘古 openPangu-2.0 训练全流程代码,覆盖预训练至 RL 阶段
摘要
华为宣布开源盘古 openPangu-2.0 的预训练、SFT 及后训练 RL 代码,相关组件已陆续上线 GitCode 平台。该系列定位为昇腾原生训练与推理的最佳实践参考,此次开源覆盖大模型训练核心链路,为开发者基于昇腾生态开展模型研发提供了完整工具链支撑。
9 月 28 日,华为正式对外宣布,旗下开源 AI 模型品牌盘古 openPangu 迎来重要更新——openPangu-2.0 的预训练代码、SFT 代码以及后训练 RL 代码已全部开源上线。这意味着围绕该版本模型的核心训练环节,开发者均可获取对应的代码资源。
据官方介绍,openPangu 品牌的核心定位,是通过昇腾原生的训练与推理技术,为产业界提供用好昇腾算力的最佳实践参考。此次开源并非单一模块的释放,而是覆盖了从预训练到监督微调、再到后训练强化学习的关键链路,构成相对完整的训练代码体系。
目前,openPangu-2.0 模型的相关组件已陆续在开源平台上线。其中,训练相关代码托管于 GitCode 的 ascend-tribe/openPangu-2.0-Training 仓库,后训练 RL 代码则位于 ascend-tribe/openPangu-2.0-RL 仓库,开发者可直接访问获取。
从行业视角看,华为将大模型训练全流程代码纳入开源范畴,进一步降低了基于昇腾平台进行模型研发与复现的门槛。对于关注国产算力生态与开源大模型进展的从业者而言,这套代码资源可作为昇腾原生训练实践的直接参考。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗