利用NVIDIA AGX Xavier为骨科医生构建深度学习工具
利用NVIDIA AGX Xavier为骨科医生构建深度学习工具
Lady在想，人工智能技术应用在医疗上，会不会有助于改善医患关系呢？也欢迎你留言谈谈你的想法吧！
传统的开放式手术需要较大的切口，这样医生可以看到手术区域的全景。但外科医生越来越倾向于采用微创技术，这种技术依赖于微型摄像机的实时视频传输，在小得多的切口之外提供更有限的视野。
对病人的好处是显而易见的:更少的失血，更少的疼痛和更快的恢复时间。
然而，微创手术对外科医生的技术要求更高，因为他们必须在狭窄的视野下操作，使用需要精细操作技能的小型器械。
为了给外科医生提供帮助，总部位于旧金山的初创公司Kaliber Labs正在开发实时解读这些视频的人工智能模型。
Kaliber正在建立一种深度学习模型，这种模型可以实时解释骨科手术的内窥镜视频信号。他们的模型实时测量和识别解剖、病理、活动和设备的使用。该模型在手术视野中对各种解剖结构、着陆点、入路角度等进行分段，为外科医生提供指导。
简单来说，Kaliber AI提供了一些工具来辅助手术指导:在哪里寻找，在哪里探索，在哪里钻孔，避免什么，下一步做什么。
“手术包括一系列步骤，”Kaliber实验室的创始人兼首席执行官Ray Rahman说，他也是NVIDIA Inception虚拟加速器项目的成员。“我们将通过整个过程为外科医生提供人工智能指导，降低他们的认知负荷，提高准确性，减少不确定性。”
这家初创公司还在开发一种深度学习模型，可以在手术后对手术视频进行注释，以便与患者进行更好的沟通和交流。
它的人工智能模型——使用Keras、PyTorch和TensorFlow深度学习框架开发——在NVIDIA RTX gpu上进行了训练和测试，该gpu具有Tensor Cores，将训练时间缩短了5倍以上。
为了开发在手术室处理实时视频输入的工具，Kaliber实验室使用JetPack SDK和NVIDIA Jetson TX2 AI计算设备在边缘上进行推理。该团队计划将其部署的产品运行在NVIDIA Jetson AGX Xavier上，从而实现实时处理所需的低延迟。
Kaliber实验室目前的人工智能工具主要用于骨科手术，包括肩部、膝盖、臀部和手腕手术。关节镜或微创关节手术是最常见的骨科手术，用于治疗许多疾病和运动损伤。
在手术开始时，Kaliber实验室的深度学习工具会使用视频来识别正在进行的手术类型和正在使用的摄像机视图。然后，针对相关过程类型的AI模型发挥作用，进行实时指导。
外科医生首先要对病人的解剖学和病理学进行初步评估，然后选择手术方案。这家初创公司的模型在这一过程中提供了帮助，结合计算机视觉算法来识别和测量，例如，在手术过程中，肩窝或肩胛盂有20%的骨缺损。
这种实时定量分析为骨科医生在术中做决定时提供了更大的客观性和更多的洞察力。
到目前为止，Kaliber实验室已经完成了肩部手术算法的开发，并正在研究膝盖和臀部手术的模型。它的深度学习工具被训练成数千小时的实际手术视频，这些视频首先由人工智能算法处理，该算法会删除视频片段，删除关于病人和外科医生的任何个人身份信息。
这家初创公司最近与一家大型医疗设备公司签署了一项协议，将建造一台由Jetson xavier驱动的人工智能边缘机，该机器可以与手术室设备整合，提供手术指导。为了在手术过程中实时工作，Rahman说边缘的GPU至关重要。
“我们运行一系列的模型来检测解剖学和病理学，以及各种测量算法，”他说。“由于我们正在进行实时视频推理，我们的推理必须在不到30毫秒的时间内进行，以避免被外科医生感知到延迟。”
NVIDIA Jetson平台结合了高GPU计算性能和低功耗，支持边缘计算。Kaliber实验室选择了Jetson Xavier嵌入式模块，因为它占用空间小，而且在系统集成方面有广泛的选择。
Kaliber Ai4OR设备是围绕NVIDIA AGX SDK和NVIDIA Jetson AI计算平台构建的。Ai4OR设备充分利用NVIDIA Jetson嵌入式GPU执行Kaliber AI Inference Pipline，在7ms内提供推理结果。推理输出可以通过连接到任何内窥镜成像系统的HDMI流。这种超低的潜伏期意味着外科医生在我们的覆盖和手术视野指导下不会感觉到任何延迟。
记录:分析手术后的视频
手术后，病人通常会从他们的外科医生那里得到简短的汇报，外科医生会分享手术的关键照片。这些照片或视频片段对病人的价值有限，因为对未经训练的人来说，如果没有上下文和解剖学的标签，很难了解手术过程中发生了什么。
“病人和他们的家人想知道外科医生做了什么，他们在手术过程中看到了什么，”拉赫曼说，“但没有人有时间手动注释整个视频。”这将花费数小时甚至数天的时间，而且成本会高得让人望而却步。”
Kaliber实验室正在开发一套人工智能模型，用于分析和标注手术视频，并描述手术过程中的每一步。向患者提供手术的注释片段可能对那些对手术好奇的人有用，并提高手术过程的透明度。
更多关于Xavier案例：