卓越集体行为集群的研究人员开发了一种用于姿势估计和身份跟踪的计算机视觉框架，可用于室内环境和野外。这是利用计算机视觉和机器学习在野外无标记跟踪动物的重要一步。
康斯坦茨的一个公园里，两只鸽子正在啄食谷物。第三只鸽子飞了进来。附近有四台摄像机。康斯坦茨大学卓越集体行为集群的博士生 Alex Chan 和 Urs Waldmann 正在拍摄这一场景。一小时后，他们带着录像回到办公室，用计算机视觉框架对其进行分析，以进行姿势估计和身份跟踪。
该框架会检测所有鸽子并在其周围画一个方框。它会记录鸽子身体的主要部位，并确定它们的姿势、位置以及与周围其他鸽子的互动。所有这些都无需在鸽子身上贴任何标记，也无需人工帮助。几年前，这还是不可能的。
3D-MuPPET 框架
近来，无标记动物姿势跟踪方法发展迅速，但用于跟踪大型动物群体的 3D 框架和基准仍然缺乏。为了弥补这一差距，康斯坦茨大学卓越集体行为集群的研究员 Urs Waldmann 和马克斯普朗克动物行为研究所的 Alex Chan 及其同事提出了 3D-MuPPET，这是一个使用多个摄像头视图以交互速度估计和跟踪多达 10 只鸽子的 3D 姿势的框架。
该项研究最近发表在《国际计算机视觉杂志》上。
3D-MuPPET 是 3D 多鸽姿势估计和跟踪的缩写，是一种计算机视觉框架，用于从四个摄像机视图对最多 10 只鸽子的姿势进行估计和身份跟踪，这些跟踪基于在圈养环境中甚至在野外收集的数据。
“我们训练了一个 2D 关键点检测器，并将三角点转换为 3D，同时还表明，用单只鸽子数据训练的模型可以很好地处理多只鸽子数据，”Waldmann 解释道。这是对多达 10 只鸽子的整个群体进行 3D 动物姿势跟踪的第一个例子。
因此，新框架为生物学家提供了一种具体的方法来创建实验并测量动物姿势以进行自动行为分析。“这个框架是动物姿势跟踪和自动行为分析的一个重要里程碑，”陈说。
框架可以在野外使用
除了在室内追踪鸽子外，该框架还扩展到野外的鸽子。“使用一种可以识别图像中任何物体轮廓的模型，称为分割任何物体模型，我们进一步用来自圈养数据的蒙版鸽子训练了一个 2D 关键点检测器，然后将该模型应用于户外的鸽子视频，而无需任何额外的模型微调，”Chan 说道。
3D-MuPPET 是首批关于如何从追踪圈养动物过渡到追踪野生动物的案例研究之一，它允许在自然栖息地测量动物的精细行为。所开发的方法在未来的工作中可能应用于其他物种，并有可能应用于大规模集体行为研究和非侵入性物种监测。
3D-MuPPET 为想要使用 3D 姿势重建来研究多个个体在任何环境或物种中的集体行为的研究人员展示了一个强大而灵活的框架。只要有多台摄像机设置和 2D姿势估计器可用，该框架就可以用于跟踪任何动物的 3D 姿势。
本站全部资讯来源于实验室原创、合作机构投稿及网友汇集投稿，仅代表个人观点，不作为任何依据，转载联系作者并注明出处：https://www.lvsky.net/230.html
评论