作者:云舟
提到英伟达,如果你还只能想到GPU,那你就OUT了。
Isaac SDK包括:
全新的Isaac SDK包括各种基于摄像头的感知深度神经网络。其中包括:
这款使用称之为Leonardo的机器人即是使用新版本的Isaac软件开发套件(SDK)完成的,在现场的demo中,Leonardo展示了高级别的互动性,与黄教主进行了实时的动作和语音互动。
“在自动驾驶场景中,我们能够准确识别信号灯、车道标线、行人、信号牌等对象并据此作出决策,但是在现实世界的机器人应用场景中,因为环境过于复杂,想要精确识别场景中的所有对象是不现实的。”在发布会上,黄教主概括了机器人应用的特殊的复杂性。
比如在现场的demo中,Leonardo需要感知人类的动作并与人类进行协作(避开黄教主的手掌拿取物品),这就需要Leonardo能够完成高精度的人体姿态估计和对物体的3D姿态估计,并据此进行决策,实时选择最终拿取物品的角度和路线。
如果在现实世界中训练Leonardo与人类协作,需要花费海量的时间来积累人机协作的数据。但如果使用Isaac Sim训练机器人,可以在仿真环境里所生成软件并将这一软件部署到在现实世界中运行的机器人中。这将大大加快机器人的开发速度,从而实现综合数据的训练。
另外,通过仿真,开发人员还可以在极端情况下(即困难或异常情况下)对机器人进行测试,从而进一步加强对它的训练。将这些结果输入训练管道后,神经网络可以同时基于真实和模拟数据来提高自己的准确性。
在Isaac Gym中,用户可以打造自己的机器人并对它进行训练和操作,然后不断地改变外部环境来调教这个机器人,并最后把它部署到现实世界的机器人上。
“举个例子来说,我们在虚拟世界中使用Isaac SIM对机器人的大脑进行训练,训练好后即可将这个大脑安装到现实世界中基于Jetson的机器人上。比如我们要制造一个炒菜机器人,我们可以先通过仿真,教这个炒菜机器人如何去处理和烹饪各种各样的食材,然后再把训练好的炒菜机器人大脑转移到实际物理机器人中。这样,机器人的开发速度就大大提高了。”Murali这样为我们举例讲解了Issac Sim的意义。
此外,全新的SDK还提供了多机器人仿真。开发人员可以将多个机器人放入仿真环境中进行测试,从而让它们学会彼此相关的工作。各个机器人可以在共享的虚拟环境中移动时,运行独立版本的Isaac导航软件堆栈。这一特性对于寻求在大型物流管理中运行多个机器人的制造商具有重大意义,他们可以先在仿真环境中测试机器人的交互作用并调试问题,然后再将机器人们部署到现实世界。
目前,许多世界上的知名高校甚至高中已经在使用Isaac进行机器人科学的教学和研究了。包括此次发布的Issac Sim在内,英伟达正在着力打造的机器人生态系统有望进一步加速机器人行业的发展。