提升机器人 3D 操作能力，北京大学与智元机器人联合实验室发布 OmniManip

34345

IT之家 1 月 23 日消息，如何将视觉语⾔基础模型（Vision  Language  Models,  VLMs）应⽤于机器⼈以实现通⽤操作是具身智能领域的⼀个核⼼问题，这⼀⽬标的实现受两⼤关键挑战制约：

• VLM 缺少精确的 3D 理解能⼒：通过对⽐学习范式训练、仅以 2D 图像 / ⽂本作为输⼊的 VLM 的天然局限；
  
• ⽆法输出低层次动作：将 VLM 在机器⼈数据上进⾏微调以得到视觉 - 语⾔ - 动作（VLA）模型是⼀种有前景的解决⽅案，但⽬前仍受到数据收集成本和泛化能⼒的限制。
  

IT之家从智元机器人官方获悉，OmniManip 的关键设计包括：

• 基于 VLM 的任务解析：利⽤ VLM 强⼤的常识推理能⼒，将任务分解为多个结构化阶段（Stages），每个阶段明确指定了主动物体（Active）、被动物体（Passive）和动作类型（Action）。
  
• 以物体为中⼼的交互基元作为空间约束：通过 3D 基座模型⽣成任务相关物体的 3D 模型和规范化空间（canonical space），使 VLM 能够直接在该空间中采样 3D 交互基元，作为 Action 的空间约束，从⽽优化求解出 Active 物体在 Passive 物体规范坐标系下的⽬标交互姿态。
  
• 闭环 VLM 规划：将⽬标交互姿态下的 Active / Passive 物体渲染成图像，由 VLM 评估与重采样，实现 VLM 对⾃身规划结果的闭环调整。
  
• 闭环机器⼈执⾏：通过物体 6D 姿态跟踪器实时更新 Active / Passive 物体的位姿，转换为机械臂末端执⾏器的操作轨迹，实现闭环执⾏。
  

此外，OmniManip 具备通⽤泛化能⼒，不受特定场景和物体限制。团队已将其应⽤于数字资产⾃动标注 / 合成管道，实现⼤规模的机器⼈轨迹⾃动采集。该研究团队将开源泛化操作⼤规模数据集和对应的仿真评测基准。
据IT之家此前报道，以“天才少年”身份加入华为的稚晖君于 2022 年底宣布离职，创业智元机器人。2024 年 9 月 3 日，智元机器人完成 A++++++ 轮融资，估值已超过 70 亿元，得到了包括北汽、上汽、比亚迪在内的国内汽车巨头支持。
目前，智元机器人量产的第 1000 台通用具身机器人已于本月（1 月 6 日）正式下线，其中包括 731 台双足人形机器人（远征 A2 / 灵犀 X1）和 269 台轮式通用机器人（远征 A2-D / A2-W）。

此文章来自:IT之家如有涉及侵权请通过邮箱联系:fnhjeqj@163.com删除。