Motion Stills AR 背后的即时运动追踪

lixia01

去年夏天，我们在 Android 上推出了 Motion Stills，它为各种 Android 手机提供了出色的视频拍摄和观看体验。随后，我们进一步完善了 Motion Stills 技术，以在 Pixel 2 中实现新的动态照片功能。
今天，我们很高兴地宣布Motion Stills for Android中推出了新的增强现实 (AR) 模式。借助新的 AR 模式，用户只需触摸取景器即可将有趣的虚拟 3D 物体放置在静态或移动的水平表面（例如桌子、地板或手）上，从而让它们与动态的现实世界环境无缝互动。您还可以录制并以 GIF 和视频的形式分享剪辑。
具有即时运动跟踪功能的 Motion Stills
AR 模式由即时运动跟踪提供支持，这是一种六自由度跟踪系统，建立在支持Motion Stills iOS 中的Motion Text和YouTube 上的隐私模糊的技术之上，可以准确跟踪静态和移动物体。我们改进并增强了这项技术，以实现有趣的 AR 体验，这些体验可以在任何配备陀螺仪的 Android 设备上运行。
当您触摸取景器时，Motion Stills AR 会将 3D 虚拟物体“粘贴”到该位置，使其看起来就像是现实世界场景的一部分。通过假设跟踪的表面与地平面平行，并使用设备的加速度计传感器提供手机相对于地平面的初始方向，可以跟踪摄像头的六个自由度（3 个用于平移，3 个用于旋转）。这使我们能够准确地在场景中变换和渲染虚拟物体。
当手机基本稳定时，加速度计传感器会提供地球重力加速度。对于水平面，重力矢量与跟踪平面的法线平行，可以准确提供手机的初始方向。
即时运动跟踪
即时运动跟踪的核心思想是将相机的平移和旋转估计分离，将它们视为独立的优化问题。首先，我们仅根据相机的视觉信号确定 3D 相机平移。为此，我们观察目标区域在帧之间的明显 2D 平移和相对比例。一个简单的针孔相机模型将图像平面中盒子的平移和比例与相机的最终 3D 平移联系起来。
图像平面中盒子的平移和尺寸变化（相对比例）可用于确定两个相机位置 C1 和 C2 之间的 3D 平移。但是，由于我们的相机模型没有假设相机镜头的焦距，因此我们不知道跟踪平面的真实距离/深度。
为了解决这个问题，我们在现有的跟踪器（Motion Text中使用的跟踪器）中添加了比例估计功能，并在摄像头视野之外添加了区域跟踪。当摄像头靠近被跟踪的表面时，虚拟内容会准确缩放，这与现实世界物体的感知一致。当您平移到目标区域的视野之外并返回时，虚拟物体将重新出现在大致相同的位置。
独立平移（仅来自视觉信号，如红框所示）和旋转跟踪（来自陀螺仪；未显示）
完成所有这些操作后，我们使用手机内置的陀螺仪获取设备的 3D 旋转（滚动、俯仰和偏航）。估算的 3D 平移与 3D 旋转相结合，使我们能够在取景器中正确呈现虚拟内容。由于我们分别处理旋转和平移，因此我们的即时运动跟踪方法无需校准，并且适用于任何配备陀螺仪的 Android 设备。
借助 Motion Stills AR 模式增强现实鸡家族
我们很高兴将这一新模式引入 Android 版 Motion Stills，希望您会喜欢它。请下载新版 Motion Stills，并在您最喜欢的社交媒体上使用 #motionstills 继续向我们发送反馈。
致谢
在渲染方面，我们非常庆幸能够利用 Google 的Lullaby引擎和动画Poly模型。感谢与我们一起参与技术和发布工作的团队成员：John Nack、Suril Shah、Igor Kibalchich、Siarhei Kazakou 和 Matthias Grundmann。