我们不断努力改进 Pixel，使其更实用、更强大、更有趣，并定期进行更新，例如最近对相机应用进行了 V8.2 更新。其中一项改进（10 月在 Pixel 5 和 Pixel 4a 5G 上推出）是一项“幕后”功能，即带包围曝光的 HDR+。此功能通过合并使用不同曝光时间拍摄的图像来改善图像质量（尤其是在阴影中），从而产生更自然的色彩、更好的细节和纹理并减少噪点。
为什么 HDR 场景难以捕捉？
原始的 HDR+连拍系统是高质量手机摄影的引擎，它可以快速拍摄一系列故意曝光不足的图像，然后以保留整个色调范围内细节的方式组合和渲染它们。但这个系统有一个限制：像下面这样的高动态范围(HDR) 场景在阴影中很嘈杂，因为所有拍摄的图像都曝光不足。
同一张照片使用 HDR+（红色轮廓）和带包围曝光的 HDR+（绿色轮廓）。虽然典型的 HDR+ 外观保持不变，但包围曝光可改善图像质量，尤其是在阴影中，颜色更自然，细节和纹理更佳，噪点减少。
由于图像传感器的物理限制以及阴影中的有限信号，捕捉 HDR 场景非常困难。我们可以正确地曝光阴影或高光，但无法同时曝光两者。
使用不同的曝光设置拍摄的同一场景，色调映射为相似的整体亮度。左/上：曝光设置为高光。明亮的蓝天得以保留，但阴影非常嘈杂。右/下：曝光设置为阴影。阴影中的噪点减少，但天空被剪裁（白色）。
摄影师有时会通过拍摄两张不同的曝光照片并将它们组合起来来解决这些限制。这种方法称为包围曝光，可以同时达到最佳效果，但手动操作非常耗时。这在计算摄影中也很有挑战性，因为它需要：
捕捉额外的长曝光帧，同时保持 Pixel 相机快速、可预测的捕捉体验。
利用长曝光帧，同时避免因帧间运动而引起的 重影伪影。
为了避免这些挑战，原始 HDR+ 系统采用了不同的方法来处理高动态范围场景。
HDR+ 的局限性
HDR+ 所采用的拍摄策略是基于曝光不足，从而避免高光部分的细节丢失。虽然这种策略是以牺牲阴影中的噪点为代价的，但 HDR+ 通过使用连拍来抵消增加的噪点。
使用连拍来改善图像质量。HDR+ 从一系列全分辨率原始图像开始，每张图像的曝光不足程度相同（左）。根据条件，2 到 15 张图像被对齐并合并为计算原始图像（中间）。合并后的图像噪音减少，动态范围增加，最终结果质量更高（右）。
这种方法适用于动态范围适中的场景，但不适合 HDR 场景。要了解原因，我们需要仔细研究两种类型的噪声是如何进入图像的。
连拍照片中的噪点
一种重要的噪声类型称为散粒噪声，它仅取决于捕获的总光量——N 帧的总和，每帧的曝光时间为 E 秒，其散粒噪声量与曝光时间为 N × E 秒的单帧相同。如果这是捕获图像中存在的唯一噪声类型，则连拍摄影的效率将与长时间曝光一样高。不幸的是，每次捕获一帧时，传感器都会引入第二种噪声，即读取噪声。读取噪声与捕获的光量无关，而是取决于拍摄的帧数——也就是说，每拍摄一帧，都会增加固定量的读取噪声。
这就是为什么使用连拍来降低总噪点不如简单地进行更长时间曝光那么有效：拍摄多帧可以降低散粒噪声的影响，但也会增加读取噪声。尽管读取噪声随着帧数的增加而增加，但仍然可以使用连拍来降低整体噪点，但效率会降低。如果将长时间曝光分成 N 次较短的曝光，由于额外的读取噪声，最终图像的信噪比会更低。在这种情况下，要恢复单次长曝光的信噪比，需要合并 N 2 个短曝光帧。在下面的例子中，如果将长曝光分成 12 次短曝光，我们必须捕捉 144（12 × 12）个短帧才能匹配阴影中的信噪比！捕捉和处理这么多帧会耗费更多的时间——连拍捕捉和处理可能需要一分钟以上的时间，并导致糟糕的用户体验。相反，通过包围曝光可以捕捉短曝光和长曝光——结合高光保护和降噪。
左图：夜视模式下 12 张短曝光帧合并的结果。右图：单帧曝光时间是单张短曝光的 12 倍。较长的曝光时间使阴影中的噪点明显减少，但会牺牲高光。
使用包围曝光解决
虽然包围曝光的挑战阻碍了原始 HDR+ 系统使用它，但此后的逐步改进，加上最近的集中努力，使相机应用中的包围曝光成为可能。首先，为 HDR+ 添加包围曝光需要重新设计拍摄策略。零快门延迟(ZSL) 使拍摄变得复杂，而零快门延迟是 Pixel 上快速拍摄体验的基础。使用 ZSL，按下快门前取景器中显示的帧是我们用于 HDR+ 连拍合并的帧。对于包围曝光，我们在按下快门后捕捉额外的长曝光帧，该帧不会显示在取景器中。请注意，按下快门后将相机静止半秒钟以适应长曝光可以帮助提高图像质量，即使在典型的握手情况下也是如此。
拍摄策略。顶部：原始 HDR+ 方法在按下快门前拍摄短曝光，本例中为六次。底部：带包围曝光的 HDR+ 在按下快门前拍摄五次短曝光，在按下快门后拍摄一次长曝光。
对于 Night Sight，拍摄策略不受取景器的限制——因为所有帧都是在按下快门后取景器停止时拍摄的，所以此模式可以轻松捕捉较长曝光的帧。在这种情况下，我们拍摄三次长曝光以进一步降低噪音。
Night Sight 的拍摄策略。顶部：原始 Night Sight 拍摄了 15 张短曝光照片。底部：带包围曝光的 Night Sight 拍摄了 12 张短曝光照片和 3 张长曝光照片。
合并算法
在合并包围曝光照片时，我们会选择其中一个短帧作为参考帧，以避免可能出现的高光剪切和运动模糊。所有其他帧在合并之前都会与此帧对齐。这带来了一个挑战——对于复杂的场景运动或遮挡区域，不可能找到完全匹配的区域，而简单的合并算法在这些情况下会产生重影伪影。
左图：禁用去重影功能后，移动人物轮廓周围会出现重影。
右图：稳健合并可产生清晰的图像。
为了解决这个问题，我们设计了一种新的空间合并算法，类似于用于Super Res Zoom 的算法，该算法逐像素决定是否应合并图像内容。对于具有不同曝光度的帧，这种去重影更加复杂。长曝光帧具有不同的噪声特性、高光剪切和不同程度的运动模糊，这使得与短曝光参考帧的比较更加困难。此外，重影伪影在包围曝光照片中更加明显，因为原本会掩盖这些错误的噪声减少了。尽管存在这些挑战，但我们的算法对这些问题的稳健性与原始 HDR+ 和 Super Res Zoom 一样强，不会产生重影伪影。同时，它合并图像的速度比其前代产品快 40%。由于它在摄影管道的早期合并 RAW 图像，我们能够实现所有这些好处，同时保持其余处理和标志性 HDR+ 外观不变。此外，喜欢使用计算 RAW 图像的用户可以利用这些图像质量和性能改进。
像素包围曝光
带包围曝光的 HDR+ 功能可供 Pixel 4a (5G) 和 Pixel 5 的默认相机以及夜视和人像模式使用。对于 Pixel 4 和 4a 的用户，Google 相机应用支持夜视模式下的包围曝光。无需用户交互即可激活带包围曝光的 HDR+ — 根据场景的动态范围和运动情况，带包围曝光的 HDR+ 会选择最佳曝光以最大限度地提高图像质量（示例）。
致谢
HDR+ 包围曝光是 Google 多个团队通力合作的成果。如果没有 Sam Hasinoff、Dillon Sharlet、Kiran Murthy、 Julian Iseringhausen、 Mike Milne、Andy Radin、 Nicholas Wilson、Navin Sarma、 Gabriel Nava、Emily To、Sushil Nath、Alexander Schiffhauer、Isaac Reynolds、Bill Strathearn、Marius Renn、Alex Hong、Jose Ricardo Lima、Bob Hung、Ying Chen Lou、Joy Hsu、Blade Chiu、David Massoud、Jean Hsu、Ellie Yang 和 Marc Levoy 的共同努力，这个项目不可能实现。
评论