AI动作捕捉工具精准跟踪身体各个部位，无需标记

编译：chux

出品：ATYUN订阅号

普林斯顿大学研究人员创建了LEAP，一种灵活的动作捕捉工具，可以在几分钟内训练，以高精度跟踪数百万帧现有视频的身体部位，无需任何物理标记或标签。

你可能见过穿着“动作捕捉”套装的好莱坞明星，他们穿着的服装布满传感器，电脑把他们变成绿巨人、龙或被施了魔法的野兽。

现在，普林斯顿教授Mala Murthy和Joshua Shaevitz的实验室之间的合作更进一步，利用AI的最新进展，在现有视频中自动跟踪动物的各个身体部位。

他们的新工具叫做LEAP Estimates Animal Pose（LEAP），可以在几分钟内进行训练，以高精度自动跟踪数百万帧视频中动物的各个身体部位，而无需添加任何物理标记或标记。

“该方法可广泛用于动物模型系统，它将有助于测量具有基因突变或药物治疗的动物的行为，”普林斯顿分子生物学和神经科学研究所（PNI）副教授Murthy说。

详细介绍新技术的论文将发表在2019年1月出版的“Nature Methods”期刊上，当研究人员将LEAP与他们实验室开发的其他定量工具相结合时，他们可以通过观察动物身体运动模式来研究所谓的“行为语言”。

该论文的第一作者的PNI研究生Talmo Pereira说，“这是一个灵活的工具，原则上可用于任何视频数据，它的工作方式是在几个视频中标记几个点，然后神经网络完成剩下的工作。我们提供了一个易于使用的界面，任何人都可以将LEAP应用到自己的视频中，而无需任何编程知识。”

当被问及LEAP对大型哺乳动物的效果是否与最初小型实验体一样好时，Pereira立即制作了一个动态标记的长颈鹿视频。

Pereira表示，“我们从Mpala研究站拍摄了一只长颈鹿行走的视频，并在30个视频帧中标记了点，这花了不到一个小时，LEAP随后能够在几秒钟内跟踪整个视频的剩余部分（大约500帧）。”

以前开发可以跟踪人体运动的AI工具依赖于大量的手动注释数据训练集，使得软件即使在截然不同的背景或照明条件下，也可以在各种数据上稳健地工作。

Murthy表示，“在我们的案例中，我们优化了类似的方法来处理在实验室环境中收集的数据，其中条件在记录中是一致的，我们建立了一个系统，允许用户选择适合用户收集的数据类型的神经网络，而不是受到其他研究人员或公司工作的限制。”

英国皇家兽医学院结构与运动实验室的高级讲师Monica Daley没有参与此研究，但他认为这项工作在神经科学之外也具有巨大的潜力。

“我的大部分研究旨在了解动物如何在不同的地形和环境条件下有效地移动，该领域最大的持续挑战之一是从视频片段中提取有关动物运动的有意义的信息。我们要么手动处理视频，需要花费数小时的繁琐工作，要么专注于可以自动化的非常简单和有限的分析。利用这样的方法，我们可能更多地将劳动密集型工作自动化，让我们研究更多种类的动物运动行为。”

一旦拥有运动和行为数据库，团队中的神经科学家就可以与其背后的神经过程建立联系。这将使研究人员不仅可以更好地了解大脑如何产生行为，同时，还可以探索未来的诊断和治疗方法，这些方法依赖于电脑对人们行为的解读。

哈佛大学的研究人员在夏季分享了一个类似的工具，他们利用现有的神经网络架构，而普林斯顿大学的团队则创建了自己的工具。“我们的方法和他们的方法相比有不同的优势，”Murthy说，“这是一个令人难以置信的令人兴奋的领域，现在有很多团队都在开发AI工具来研究行为和神经活动。”

“我们使用不同的方法，通过专注于快速专注于新数据集，网络更小，更精简的同时可以实现高精度，更重要的是，我们展示了通过AI进行动物姿势跟踪的易用性，我们希望这可以鼓励该领域开始采用更加量化和精确的方法来衡量行为。”

共同作者，分子生物学和PNI教授Samuel Wang也指出，“在过去五年中，神经科学在技术观察和操纵大脑活动方面取得了巨大进步，现在，行为的自动分类为该技术增添了一个重要的补充。”

论文：

www.nature.com/articles/s41592-018-0234-5