拿纱布、抓针头，英伟达与多所高校合作，开发手术机器人

编辑 | X

英伟达（NVIDIA）正与学术研究人员合作，研究手术机器人。

NVIDIA 联合多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院和佐治亚理工学院的研究人员开发了 ORBIT-Surgical，一个训练机器人的模拟框架，可以提高手术团队的技能，同时减少外科医生的认知负担。

受腹腔镜手术（又称微创手术）训练课程的启发，它支持十多种操作，比如抓住像针头这样的小物体，从一只手臂传递到另一只手臂，并高精度地放置它们。

基于物理的框架是使用 NVIDIA Isaac Sim 构建的，这是一个用于设计、训练和测试基于 AI 的机器人的机器人模拟平台。

研究人员在 NVIDIA GPU 上训练强化学习和模仿学习算法，并使用 NVIDIA Omniverse——一个用于开发和部署基于通用场景描述 (OpenUSD) 的高级 3D 应用程序和管道的平台，来实现照片级真实感渲染。

ORBIT-Surgical 将在 IEEE 国际机器人与自动化会议 (ICRA) 2024 上发表。

论文地址：https://arxiv.org/abs/2404.16027

在下面的视频中，ORBIT-Surgical 研究团队演示了如何在模拟中训练数字孪生转移到实验室环境中的物理机器人。

ORBIT-Surgical 基于 Isaac Orbit，这是一个基于 Isaac Sim 构建的机器人学习模块化框架。Orbit 支持各种强化学习和模仿学习库，其中人工智能代理经过训练可以模仿真实的专家示例。

该手术框架使开发人员能够训练达芬奇研究套件（da Vinci Research Kit，dVRK）等机器人，使用在 NVIDIA RTX GPU 上运行的强化学习和模仿学习框架来操纵刚性和软物体。

ORBIT-Surgical 引入了十多项外科训练基准任务，包括单手任务，例如拿起一块纱布、将分流器插入血管或将缝合针举到特定位置。它还包括双手任务，例如将针从一只手臂递到另一只手臂，将螺纹针穿过环形杆，以及将两只手臂伸到特定位置，同时避开障碍物。

ORBIT-Surgical 的基准测试之一是插入分流器（ 左图为现实世界的机器人，右图为模拟图。）

通过开发利用 GPU 加速和并行化的手术模拟器，该团队能够将机器人的学习速度比现有手术框架提高一个数量级。他们发现，经过训练，机器人数字孪生可以在单个 NVIDIA RTX GPU 上在两小时内完成插入分流器和提起缝合针等任务。

借助 Omniverse 渲染实现的视觉真实感，ORBIT-Surgical 还允许研究人员生成高保真合成数据，这有助于训练 AI 模型执行感知任务，例如在手术室捕获的真实视频中分割手术工具。

该团队的概念验证表明，将模拟和真实数据相结合显著提高了人工智能模型从图像中分割手术针的准确性，有助于减少训练此类模型时对大型、昂贵的现实数据集的需求。

参考内容：https://blogs.nvidia.com/blog/orbit-surgical-robotics-research-icra/

人工智能×[ 生物 神经科学 数学 物理 化学 材料 ]