Hugging Face 开源编码模型水彩绘画训练全流程
Hugging Face 团队基于 Surya Narreddi 的创意，利用 TRL、OpenEnv 和 Qwen3.5-35B-A3B 模型，成功复现了让语言模型通过 p5.brush 编写 JavaScript 绘制水彩画的强化学习训练流程。所有数据集、环境、脚本和模型权重均已开源在 Hugging Face Hub，为 AI 艺术创作提供了可复现的技术路径。
Hugging Face 官方博客近日发布了一项技术复现成果，基于开发者 Surya Narreddi 的原始构想，团队完整还原了通过强化学习训练语言模型绘制水彩画的流程。该工作利用了 TRL（Transformer Reinforcement Learning）库和 OpenEnv 环境，以 Qwen/Qwen3.5-35B-A3B 作为基础模型，实现了从文本指令到视觉艺术生成的端到端训练。
训练的核心在于让模型掌握 p5.brush——一个专为创意编码设计的 JavaScript 库。通过 OpenEnv 提供的模拟环境，模型在每一步生成代码后，系统会渲染出水彩效果，并根据视觉质量反馈奖励信号。这种闭环训练方式使得模型能够逐步优化其代码生成策略，从而产出具有水彩风格的图像。
Hugging Face 团队在博客中强调，该项目的所有组件均已开源，包括训练数据集、环境配置、脚本以及最终训练好的模型权重。开发者可以直接在 Hugging Face Hub 上获取这些资源，复现实验或基于此进行二次开发。这一举措降低了 AI 艺术创作的门槛，为探索语言模型在非传统领域（如视觉艺术）的应用提供了可参考的范本。
此次开源不仅展示了 TRL 和 OpenEnv 在复杂任务中的适用性，也体现了 Qwen 系列模型在指令跟随和代码生成方面的潜力。对于 AI 行业从业者而言，该案例提供了一套完整的工具链和实验框架，有助于推动强化学习在创意生成领域的落地研究。