苹果HALO系统实现人形机器人自主控制,真实环境测试成功率91%
摘要
苹果研究团队在arXiv发布论文,披露人形机器人控制系统HALO,采用三层级架构,调用千问模型,在宇树G1上验证,6个真实环境360次测试平均成功率91%,并开源代码。
苹果研究团队于当地时间11月4日在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,公开了人形机器人自主控制系统HALO,同时释出数据生成、模型训练与部署代码,覆盖动作生成、动作跟踪、任务编排及仿真与真机运行等环节。
在硬件落地方面,团队选用宇树科技G1人形机器人,背部加装专用3D打印保护外壳,内置一台搭载M4 Pro芯片、64GB统一内存的Mac mini。该设备负责机载端实时推理计算开销较大的Orchestrator(VLM)与Motion Generator(DiT),G1自带板载芯片则专注高频运行Tracker(RL策略网络)。
HALO采用三层级协同控制架构:最上层为基于视觉语言模型的任务编排模块,默认采用千问Qwen3.6-35B-A3B,也可通过API调用云端模型;中间动作生成层使用另一款千问模型Qwen3.5-2B;底层为经强化学习与策略蒸馏训练的动作跟踪器,以每秒50次的频率运行。
论文披露的测试数据显示,团队在6个未预先扫描或建图的真实环境中完成360次单项任务测试,平均成功率达91%。针对长序列复合任务,研究团队在单一真实场景中各进行10次测试,涉及3种任务类型。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗