Nvidia利用Vision Pro远程控制人形机器人

Nvidia正加速人形机器人的开发,构建下一代技术。

虽然苹果与Nvidia在芯片业务上可能早已老死不相往来,但不代表Nvidia在其他产品方面不采用苹果的技术。Nvidia稍早发布了一段视频,演示如何利用苹果的Vision Pro来远程控制人形机器人。

Nvidia利用Vision Pro远程控制人形机器人

Nvidia在新闻稿中指出,该公司正加速人形机器人的开发,其通过Nvidia NIM微服务、OSMO机器人云计算编排服务、远程操作数据截取工作流程等,来训练与构建下一代人形机器人的技术。

值得注意的是,Nvidia的人形机器人开发人员在视频中使用的是苹果的头戴式显示器Vision Pro。一开始开发人员利用Vision Pro捕捉少量远程操作演示,随后在Nvidia Isaac Sim中模拟录音,并使用MimicGen NIM微服务从录音生成合成数据集。

开发人员使用真实与合成的数据来训练Project GR00T人形基础模型,这可让开发人员能够节省时间并降低成本。之后再使用Isaac Lab(机器人学习框架)中的Robocasa NIM微服务来产生数据,并重新训练机器人模型。

整体工作流程中,Nvidia OSMO将运算作业无缝分配给不同的资源,为开发人员节省了数周的管理任务。 

(资源来源:msn  图片来源:Nvidia官网)


赞 (0)
上一篇 2024年10月19日 02:18
下一篇 2024年10月19日 02:18