AI可自动跟踪和标记移动中动物的身体部位

编译：chux

出品：ATYUN订阅号

哈佛大学的研究人员和学术界研究者合作开发了一种名为DeepLabCut的深度学习方法，可以自动跟踪和标记移动中动物的身体部位，具有可与人类匹敌的准确性。

研究人员在他们的论文中指出：“摄像技术提供了在不同环境中观察和记录动物行为的简便方法，但提取行为的特定方面以进行进一步分析可能非常耗时。我们提出了一种基于深度神经网络传递学习的无标记姿态估计的有效方法，该方法以最少的训练数据实现了出色的结果，”该团队解释说。

团队使用带有cuDNN加速TensorFlow深度学习框架的NVIDIA GeForce GTX 1080 Ti和NVIDIA TITAN Xp GPU，训练神经网络对来自ImageNet数据集的数百张图片进行姿态估计和身体部位检测。

“我们通过在多种行为中跟踪多个物种的各种身体部位来展示该框架的多功能性。值得注意的是，即使只标记了少量帧（~200），该算法也能在测试帧上实现出色的跟踪性能，与人类进行跟踪的准确度相当，”该团队表示。

密歇根大学Daniel Leventhal博士小组的大鼠熟练接触试验。这些数据是在一个自动的小球到达任务中收集的，并由Daniel Leventhal博士标记，使用了180个标记的框架进行训练。

研究人员表示，该工具箱适用于小鼠和果蝇，但对框架没有限制，工具箱可以应用于其他生物。

通过动作捕捉跟踪动物可以揭示有关其生物力学的新线索，比如发现它们的大脑是如何工作的。对人类的动作捕捉和跟踪可以帮助物理治疗，并帮助运动员获得过去难以想象的记录。

“这个解决方案不需要计算体模型，简笔图，时间信息或复杂的推理算法，”研究人员说。“因此，它也可以快速应用于完全不同的行为，这些行为对计算机视觉提出了质的独特挑战，如在果蝇中熟练接触或产卵。”

另一个案例研究显示该项目是通过马实施的。

本视频采用的是DeepLabCut，首先使用不同的马进行训练，然后在赛道上仅添加11个标记的证明帧，重新训练，并将自动标签应用于完整的视频。

代码：github.com/AlexEMG/DeepLabCut

论文：www.nature.com/articles/s41593-018-0209-y