美开发OpenMonkeyStudio，基于深度学习研究猕猴的3D姿势

明尼苏达大学的研究人员最近开发了OpenMonkeyStudio，这是一个基于深度学习的运动捕获系统，可用于研究自由移动的猕猴的行为。该系统发表在《自然通讯》上的一篇论文中，可以估计猕猴3-D自由移动的姿势，这对于研究动物彼此之间，以及与周围环境的相互作用特别有价值。在这种情况下，“姿势”一词是指动物的主要身体部位相互之间以及周围环境的位置。

OpenMonkeyStudio旨在以3D方式重建13个人体标志。该系统具有62个摄像头，环绕着一个大的开放空间，可以从各个有利位置同步捕捉猕猴的运动。彩色迹线对应于关节标签。显示了多视点图像和与重建的投影叠加的四个任意裁剪的图像。图片来源：Bala等。

为了更好地了解人类的行为和认知，以及它们的神经基础，研究人员经常研究具有类似特征的其他哺乳动物。这些研究中最常见的物种之一是恒河猴，这是一种古老的猴子，原产于南亚，中亚和东南亚。

恒河猴作为无数神经科学，心理学医学和人类学研究的动物模型，因为它们与人类共享许多行为模式和生物学特征。例如，它们被证明对研究感染中风，艾滋病和其他健康状况有用。

研究人员在论文中解释说：“目前，可以通过基于商业标记的运动捕捉系统（例如，Vicon，OptiTrack和PhaseSpace）完成高精度的姿势预测，” “但是，猕猴特别不适用于这些基于标记的系统。”

由于多种原因，大多数使用标记的传统捕获系统很难应用于猕猴。首先，猕猴的皮毛长而致密，这使标记物的附着特别具有挑战性，并且随着动物在周围环境中的行动，高度灵活的皮肤会导致标记物移动。此外，由于猕猴是高度敏捷和好奇的生物，因此它们通常会尝试去除标记，并在被迫穿紧身衣或夹克时感到非常不舒服。

因此，研究人员一直在尝试设计新的运动捕捉系统，从而不依赖可有效跟踪猕猴运动的标记。尽管基于深度学习的图像中，人体姿势预测技术可能是可行的解决方案，但它们通常需要大量的训练数据才能表现良好，有时还需要手动对其进行注释。

明尼苏达大学团队开发的OpenMonkeyStudio，是用于3D姿势估计的无标记系统，它使用完全监督的学习方法进行训练。与先前提出的用于跟踪猕猴运动的深度学习技术相反，该系统不需要在大量现有的手动注释数据集上进行训练。

研究人员在论文中写道：“我们的系统使用62台摄像机，这些摄像机可提供多视图图像流，这些图像流可通过利用3-D多视图几何来显着扩展注释数据。” “尽管如此大量的摄像头对于训练姿势检测器至关重要，但生成的模型可以在摄像头较少的其他系统中使用（例如，由其他实验室使用），而无需进行训练。”

研究人员通过一系列涉及四只雄性恒河猴的实验，对OpenMonkeyStudio进行了评估。在这些测试中，他们的系统达到了惊人的精度，优于当今市场上一些最佳的基于标记的运动捕捉系统（即OptiTrack，NaturalPoint，Corvallis和OR）。此外，发现OpenMonkeyStudio可以很好地概括不同猕猴，并且还可以同时跟踪两个对象的运动。

除了开发可以帮助研究猕猴行为的运动捕捉系统之外，研究人员还编译了一个新的数据集，其中包含195,228个带注释的图像，称为OpenMonkeyPose。将来，该数据集（可在GitHub上获得）可用于训练基于深度学习系统，以跟踪恒河猴的运动。