英伟达推出的一项新控制服务可以让开发者从事涉及人形机器人的项目，并使用Apple Vision Pro进行控制和监控。
开发人形机器人面临诸多挑战，其中之一就是控制高科技设备。为了帮助解决这一问题，英伟达提供了许多用于机器人模拟的工具，其中包括一些辅助控制的工具。
英伟达向各大机器人制造商和软件开发商提供的这套模型和平台旨在帮助训练新一代人形机器人。
该工具集合包括英伟达所称的NIM微服务和框架，用于模拟和学习。此外还有英伟达OSMO 编排服务，用于处理多阶段机器人工作负载以及支持AI和模拟的远程操作工作流程。
作为工作流程的一部分，头显和空间计算设备（如Vision Pro）不仅可以用来查看数据，还可以控制硬件。
英伟达首席执行官兼创始人黄仁勋表示：“人工智能的下一波浪潮是机器人技术，而人形机器人是其中最令人兴奋的发展之一。我们正在推进整个英伟达机器人技术堆栈，为全球人形机器人开发人员和公司开放访问权限，以采用最适合需求的平台、加速库和人工智能模型。”
NIM微服务是使用英伟达推理软件的预构建容器，旨在缩短部署时间。其中两个微服务旨在帮助开发者在参考应用程序英伟达Isaac SIM中实现生成式物理AI的模拟工作流程。
其中一个是MimicGen NIM微服务，主要用于帮助用户使用Vision Pro或其他空间计算设备控制硬件。其根据“记录的遥控数据”为机器人生成合成运动数据，即将Vision Pro的动作转换为机器人的动作。
视频和图像显示，这不仅仅是根据头显移动来移动摄像头。据显示，基于Vision Pro的传感器，手部动作和手势也会被记录和使用。
实际上，用户可以使用Vision Pro观察机器人的动作并直接控制手和手臂。
虽然此类人形机器人可以尝试准确模仿手势，但英伟达等系统可以推断用户想要做什么。由于用户无法感知机器人所持物品的触觉反馈，因此直接模仿手部动作可能过于危险。
Siggraph上展示的另一种远程操作工作流程也允许开发者创建大量运动和感知数据，所有这些都是通过人类远程捕获的少量演示创建的。
在这些演示中，我们使用Vision Pro来捕捉人手的动作，然后使用MimicGen NIM微服务和英伟达Isaac Sim来模拟记录，从而生成合成数据集。
随后，开发人员使用真实数据和合成数据的组合来训练Project Groot人形模型，这一过程被认为有助于首先减少创建数据的成本和时间。
机器人平台制造商Fourier首席执行官Alex Gu表示：“开发人形机器人极其复杂——需要大量真实数据，这些数据都是从现实世界中精心获取的。英伟达的新模拟和生成AI开发工具将有助于引导和加速我们的模型开发工作流程。”
微服务以及模型访问、OSMO管理机器人服务和其他框架均由英伟达人形机器人开发者计划提供，该公司仅向人形软件、硬件或机器人制造商提供访问权限。
