用混合现实让非专业用户语音或手势编程机器人数字孪生。
ORCESTRA: VLM-driven Visual Robot programming in Mixed Reality
- 通过混合现实界面，用户可用手势或语音指令控制机器人数字孪生。
- 系统支持多种机器人形态，可生成结构化执行计划并预演验证。
- 适合机器人研发、工业自动化人员快速原型设计与安全测试。
ORCESTRA 是一个混合现实系统，支持通过无代码路径点教学和语言引导控制来编程机器人数字孪生。在透视式混合现实工作空间中，用户可将机器人数字孪生放置于真实表面，标记运动轨迹，保存相对机器人的任务片段，或发出语音/文本指令，由视觉语言模型转化为结构化的数字孪生执行计划。两种交互模式共享后端的度量定位、具身感知验证、预览、确认及数字孪生执行功能。系统支持异构机器人形态，包括固定基座机械臂、移动底盘及人形机器人，展示了混合现实验证作为语言引导机器人编程在物理部署前的安全保障层。
原文摘要 · Abstract (English)
ORCESTRA is a mixed-reality system for programming robot digital twins through no-code waypoint teaching and language-guided control. In a passthrough mixed-reality workspace, users place robot twins on real surfaces, teach trajectories, save robot-relative episodes, or issue spoken/typed commands that a vision-language model converts into structured digital-twin plans. Both interaction modes share a backend for metric grounding, embodiment-aware validation, preview, confirmation, and digital-twin execution. The system supports heterogeneous robot embodiments, including fixed-base manipulators, a mobile base, and a humanoid robot, demonstrating MR validation as a safety layer for language-guided robot programming before physical deployment.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品；中文卡片由大模型生成，请以原文为准。