基于单目视频的无监督深度学习的结构化方法

lixia01

感知场景的深度是自主机器人的一项重要任务——准确估计机器人与物体之间的距离的能力对于避障、安全规划和导航至关重要。虽然可以从传感器数据（例如LIDAR）获取（和学习）深度，但也可以仅从单目摄像头以无监督的方式学习深度，这依赖于机器人的运动以及由此产生的场景的不同视图。在此过程中，“自我运动”（机器人/摄像头在两帧之间的运动）也会被学习，从而提供机器人本身的定位。虽然这种方法历史悠久——源自运动结构和多视图几何范式——但新的基于学习的技术，更具体地说是使用深度神经网络进行深度和自我运动的无监督学习，已经推动了最先进的技术，包括Zhou 等人的研究，以及我们自己之前在训练期间对齐场景的 3D 点云的研究。
尽管做出了这些努力，学习预测场景深度和自我运动仍然是一项持续的挑战，特别是在处理高度动态的场景和估计移动物体的适当深度时。由于先前的无监督单目学习研究没有对移动物体进行建模，因此可能导致对物体深度的持续错误估计，常常导致将其深度映射到无穷大。在即将于AAAI 2019发表的
“无需传感器的深度预测：利用结构从单目视频进行无监督学习”中，我们提出了一种新颖的方法，该方法能够对移动物体进行建模并产生高质量的深度估计结果。与以前从单目视频进行无监督学习的方法相比，我们的方法能够恢复移动物体的正确深度。在我们的论文中，我们还提出了一种无缝在线细化技术，可以进一步提高质量并应用于跨数据集的迁移。此外，为了鼓励更先进的机载机器人学习方法，我们在 TensorFlow 中开源了代码。
结构
我们方法中的一个关键思想是将结构引入学习框架。也就是说，我们不是依靠神经网络直接学习深度，而是将单目场景视为 3D，由移动物体组成，包括机器人本身。各个运动被建模为场景中的独立变换（旋转和平移），然后用于建模 3D 几何并估计所有物体的运动。此外，了解哪些物体可能会移动（例如汽车、人、自行车等）有助于我们为它们学习单独的运动矢量，即使它们可能是静态的。通过将场景分解为 3D 和单个物体，可以学习场景中的更好的深度和自我运动，尤其是在非常动态的场景中。
我们在KITTI和Cityscapes城市驾驶数据集上测试了这种方法，发现它优于最先进的方法，并且在使用立体对视频作为训练监督的质量方法方面正在接近。重要的是，我们能够正确恢复以与自我运动车辆相同速度行驶的汽车的深度。这在以前一直是一个难题——在这种情况下，移动的车辆（在单目输入中）看起来是静止的，表现出与静态地平线相同的行为，从而推断出无限的深度。虽然立体输入可以解决这种模糊性，但我们的方法是第一个能够从单目输入中正确推断出这一点的方法。
除了这些结果之外，这项研究还激发了人们进一步探索无监督学习方法的潜力，因为单目输入比立体或激光雷达传感器更便宜、更容易部署。如下图所示，在 KITTI 和 Cityscapes 数据集中，监督传感器（立体或激光雷达）都缺少值，并且偶尔会与摄像头输入不对齐，这是由于时间延迟造成的。
自我运动
我们的结果还提供了最先进的自我运动估计值，这对于自主机器人至关重要，因为它可以在环境中移动时提供机器人的定位。下面的视频展示了我们的方法的结果，该方法可视化了从推断的自我运动中获得的速度和转弯角度。虽然深度和自我运动的输出在标量上都是有效的，但我们可以看到它能够在减速和停止时估计其相对速度。
跨领域迁移
学习算法的一个重要特征是它在移动到未知环境时的适应性。在这项工作中，我们进一步介绍了一种在线优化方法，该方法在收集新数据的同时继续在线学习。以下是在 Cityscapes 上进行训练并在 KITTI 上进行在线优化后估计深度质量得到改善的示例。
我们进一步在明显不同的数据集和设置上进行了测试，即在Fetch 机器人收集的室内数据集上进行测试，而训练是在户外城市驾驶 Cityscapes 数据集上进行的。正如预期的那样，这些数据集之间存在很大差异。尽管如此，我们观察到在线学习技术能够获得比基线更好的深度估计。
总之，这项工作解决了单目相机的深度和自我运动的无监督学习问题，并解决了高度动态场景中的问题。它实现了高质量的深度和自我运动结果，其质量可与立体声相媲美，并提出了在学习过程中融入结构的想法。更值得注意的是，我们提出的仅从单目视频进行深度和自我运动的无监督学习与在线自适应相结合展示了一个强大的概念，因为它不仅可以从简单视频中以无监督的方式学习，而且还可以轻松转移到其他数据集。
致谢
这项研究由 Vincent Casser、Soeren Pirk、Reza Mahjourian 和 Anelia Angelova 进行。我们要感谢 Ayzaan Wahid 在数据收集方面的帮助，以及 Martin Wicke 和 Vincent Vanhoucke 的支持和鼓励。