Pixel 2 动态照片技术背后的故事

lixia01

如今智能手机最引人注目的功能之一就是能够即时捕捉精彩瞬间。借助动态照片（Pixel 2 和 Pixel 2 XL 手机上的一项新相机功能），您无需再在照片和视频之间做出选择，因此您拍摄的每张照片都能捕捉到更多精彩瞬间。当您在启用动态照片的情况下拍照时，您的手机还会录制和剪辑长达 3 秒的视频。借助我们在Android 版 Motion Stills中率先采用的技术构建的高级稳定功能，这些照片在 Google Photos 中栩栩如生。让我们来看看实现这一功能的技术背后的原理！
Google Photos 中的 Pixel 2 动态照片。相机静止不动时，焦点直接对准拍摄对象。如需更多示例，请查看此Google Photos 相册。
通过结合硬件和软件进行相机运动估计
每次按下快门按钮时捕获的图像和视频对都是全分辨率 JPEG，其中嵌入了 3 秒的视频剪辑。在 Pixel 2 上，视频部分还包含来自陀螺仪和光学图像稳定 (OIS) 传感器的运动元数据，以帮助修剪和稳定运动照片。通过将基于软件的视觉跟踪与来自硬件传感器的运动元数据相结合，我们在 Pixel 2 上为运动照片构建了一种新的混合运动估计。与Motion Stills
中使用的技术或纯基于硬件传感器的方法相比，我们的方法可以更精确地对齐背景。基于融合视频稳定技术，它可以减少由于具有许多深度层的复杂场景或前景物体占据视野的很大一部分而导致的视觉分析伪影。它还通过改进运动估计使其更准确（尤其是在近距离）来改进基于硬件传感器的方法。
我们在 Motion Stills 中引入的纯软件技术使用视频帧中的视觉数据，检测和跟踪连续帧中的特征，从而产生运动矢量。然后，它使用运动模型（例如仿射变换或单应性）将运动矢量分类为前景和背景。但是，这种分类并不完美，可能会被误导，例如，复杂的场景或占主导地位的前景。
对于 Pixel 2 上的运动照片，我们通过使用来自陀螺仪和 OIS 的运动元数据改进了这种分类。这可以准确地捕捉相机相对于无穷远处场景的运动，可以将其视为远处的背景。但是，对于近距离拍摄的照片，不同深度层的场景元素会产生视差，而陀螺仪和 OIS 无法解决这个问题。具体来说，我们将与运动元数据偏差过大的运动矢量标记为前景。这可以更准确地对前景和背景进行分类，这也使我们能够使用更复杂的运动模型（称为混合单应性），该模型可以解释滚动快门并消除其引起的失真。
运动照片中的背景运动估计。通过使用陀螺仪和 OIS 的运动元数据，我们能够准确地将视觉分析中的特征分类为前景和背景。
运动照片稳定和播放
一旦我们准确估计了视频的背景运动，我们就会使用我们之前文章中概述的线性规划技术确定一条最佳的稳定相机路径来对齐背景。此外，我们会自动修剪视频以消除因将手机移开而导致的任何意外运动。所有这些处理都发生在您的手机上，每帧都会产生少量元数据，当您点击 Google Photos 中的“运动”按钮时，这些元数据可用于使用 GPU 着色器实时渲染稳定的视频。此外，我们从与 HDR+ 照片完全相同的时间戳开始播放视频，从而实现从静止图像到视频的无缝过渡。
运动照片甚至可以稳定前景运动较大的复杂场景。
动态照片共享
使用 Google Photos，您可以与朋友分享动态照片，也可以将其作为视频和 GIF 分享，在网络上观看，或者在任何手机上查看。这是结合硬件、软件和机器学习为 Pixel 2 创建新功能的另一个示例。
致谢
动态照片是 Google Research 团队、Google Pixel 和 Google Photos 的多个团队合作的成果。我们特别要感谢 Karthik Raveendran、Suril Shah、Marius Renn、Alex Hong、Radford Juang、Fares Alhassen、Emily Chang、Isaac Reynolds 和 Dave Loxton 的工作。