使用 Pixel 3 上的 Photobooth 自动拍摄最佳自拍照

lixia01

拍摄一张好的集体自拍照并不容易 - 你需要将手指悬停在快门上方，让每个人的脸都进入画面，看着相机，做出好看的表情，尽量不要晃动相机，并希望当你最终按下快门时没有人眨眼！在使用 Google Clips 构建自动摄影技术之后，我们问自己：我们能否将这种自动拍照体验的一些魔力带到 Pixel 手机上？
借助 Pixel 3 相机应用中的全新免快门模式 Photobooth，现在可以更轻松地自拍 - 单人、情侣甚至集体 - 并捕捉您最美的一面。进入 Photobooth 模式并点击快门按钮后，当相机稳定并看到拍摄对象睁开眼睛表情优美时，它就会自动拍照。在最新版本的 Pixel 相机中，我们为 Photobooth 添加了亲吻检测功能！亲吻心爱的人，相机会自动捕捉。
当照片中的每个人都展现出最佳状态时，Photobooth 会自动拍摄集体照。
Photobooth 与Top Shot和Portrait 模式一起成为一套令人兴奋的 Pixel 相机功能，可让您拍出最好的照片。但是，与利用后置摄像头中的专用硬件来提供最精确效果的人像模式不同，Photobooth 针对前置摄像头进行了优化。为了构建 Photobooth，我们必须解决三个挑战：如何为广泛的用户群体识别好的内容；如何把握快门时机以捕捉最佳瞬间；以及如何为视觉元素制作动画，帮助用户了解 Photobooth 看到和捕捉到了什么。
用于理解好内容的模型
在开发 Photobooth 时，一个主要的挑战是确定在典型的自拍照（其中所有拍摄对象都看着镜头）和人们接吻但不一定面对镜头的照片中何时存在好的内容。为了实现这一点，Photobooth 依靠两个不同的模型来捕捉好的自拍照 - 一个用于面部表情的模型和一个用于检测人们接吻时间的模型。
我们与摄影师合​​作，确定了五种可以触发拍摄的关键表情：微笑、吐舌头、亲吻/鸭脸、鼓起脸颊和惊讶。然后，我们训练了一个神经网络来对这些表情进行分类。Photobooth 使用的亲吻检测模型是针对 Google Clips 训练的图像内容模型(ICM) 的变体，经过微调，专门用于关注亲吻。这两个模型都使用MobileNets，以便在设备上高效运行，同时以高帧率连续处理图像。模型的输出用于评估快门控制算法的每帧质量。
快门控制
在 Photobooth 模式下单击快门按钮后，将根据上述模型的内容得分执行基本质量评估。第一阶段用作过滤器，避免出现包含闭眼、说话或运动模糊的时刻，或无法检测到模型学习到的面部表情或亲吻动作。Photobooth 会暂时分析表情置信度值以检测它们在照片中的存在，使其能够抵御机器学习 (ML) 模型输出的变化。成功通过第一阶段后，每帧都会接受更细粒度的分析，从而输出总体帧得分。
帧得分同时考虑面部表情质量和亲吻得分。由于亲吻检测模型对整个帧进行操作，因此其输出可直接用作亲吻的全帧得分值。面部表情模型会为每个识别出的表情输出一个得分。由于每帧中可能存在不同数量的面部，因此 Photobooth 采用了注意力模型使用检测到的表情迭代计算每个面部的表情质量表示和权重。权重很重要，例如，为了强调前景中的表情，而不是背景中的表情。然后，该模型计算帧中表情质量的单一全局分数。
用于触发快门的最终图像质量分数是通过基于注意力的面部表情分数和亲吻分数的加权组合计算得出的。为了检测峰值质量，快门控制算法会维护一个观察到的帧的短缓冲区，并且只有当其帧分数高于缓冲区中其后的帧时，才会保存该镜头。缓冲区的长度足够短，可以让用户感受到实时反馈。
智能指示器
由于 Photobooth 使用前置摄像头，因此用户可以在拍照时看到并与显示屏交互。Photobooth 模式包括一个视觉指示器，即屏幕顶部的一个条，当照片质量分数增加时，该条的大小会增大，以帮助用户了解 ML 算法看到和捕获的内容。指示条的长度分为四个不同的范围：（1）没有清晰看到脸部，（2）可以看到脸部但未关注相机，（3）关注但未做出关键表情，以及（4）关注并做出关键表情。
为了使该指标更易于理解，我们将指示条强制划分为这些范围，从而防止指示条缩放过快。这使得指示条长度随着质量分数的变化而平滑变化，并提高了实用性。当指示条达到代表高质量分数的长度时，屏幕会闪烁，表示已拍摄并保存照片。
结论
我们对拍照手机自动拍照的可能性感到兴奋。随着计算机视觉的不断进步，未来我们可能普遍信任智能相机会选择捕捉美好瞬间。Photobooth 就是一个例子，展示了我们如何在这个领域（自拍和集体自拍，包括微笑、搞笑的表情和亲吻）开辟出一个有用的角落，并提供有趣而实用的体验。
致谢
Photobooth 是 Google 多个团队合作的成果。该项目的主要贡献者包括：Kojo Acquah、Chris Breithaupt、Chun-Te Chu、Geoff Clark、Laura Culp、Aaron Donsbach、Relja Ivanovic、Pooja Jhunjhunwala、Xuhui Jia、Ting Liu、Arjun Narayanan、Eric Penner、Arushan Raj、Divya Tyam、Raviteja Vemulapalli、Julian Walker、Jun Xie、Li Zhang、Andrey Zhmoginov 和 Yukun Zhu。