夜视：在 Pixel 手机上看清黑暗

lixia01

为什么低光摄影很难？

任何拍摄过昏暗场景的人都会熟悉图像噪声，它看起来像是像素之间亮度的随机变化。对于具有小型镜头和传感器的智能手机相机，主要的噪声源是进入镜头的光子数量的自然变化，称为散粒噪声。每台相机都会受到它的影响，即使传感器电子设备完美无缺，它也会存在。然而，它们并不完美，所以第二个噪声源是在将光照射到每个像素产生的电子电荷转换为数字时引入的随机误差，称为读取噪声。这些和其他随机源都会影响整体信噪比(SNR)，信噪比是衡量图像在这些亮度变化中突出程度的指标。幸运的是，SNR 随着曝光时间的平方根而增加（或更快），因此曝光时间越长，照片就越清晰。但在昏暗的光线下很难保持足够长的时间以拍出好照片，而且你拍摄的任何东西可能也不会保持静止。
2014 年，我们推出了HDR+，这是一种计算摄影技术，通过捕捉连续帧、在软件中对齐帧并将它们合并在一起来改善这种情况。HDR+ 的主要目的是提高动态范围，这意味着能够拍摄具有各种亮度的场景（例如日落或背光人像）。所有 Pixel 手机都使用 HDR+。事实证明，合并多张照片还可以降低散粒噪声和读取噪声的影响，因此可以提高昏暗光线下的 SNR。为了在您的手抖动和拍摄对象移动的情况下也能保持这些照片的清晰度，我们使用了短曝光。我们还会拒绝那些无法找到良好对齐的帧片段。这使得 HDR+ 即使在收集更多光线的情况下也能产生清晰的图像。
多暗才算暗？
但是，如果捕捉和合并多帧可以在弱光下产生更清晰的照片，为什么不使用 HDR+ 合并数十帧，以便我们在黑暗中有效地看清？好吧，让我们先定义一下“暗”的含义。当摄影师谈论场景的光照水平时，他们通常会用勒克斯来衡量。从技术上讲，勒克斯是到达单位面积表面的光量，以流明/平方米为单位。为了让您了解不同的勒克斯水平，这里有一个方便的表格：
拍摄单张照片的智能手机相机在 30 勒克斯的光照下就开始吃力。拍摄并合并多张照片（如 HDR+ 一样）的手机在低至 3 勒克斯的光照下也能表现良好，但在较暗的场景中表现不佳（详见下文），因为它们依赖于闪光灯。借助夜视功能，我们的目标是在 3 勒克斯至 0.3 勒克斯范围内使用智能手机、单次快门按下且不使用 LED 闪光灯来改善拍照效果。要使此功能正常工作，需要几个关键要素，其中最重要的是捕获更多光子。
对齐和合并 通过
平均帧来降低成像噪点的想法与数字成像一样古老。在天文摄影中，这被称为曝光堆叠。虽然该技术本身很简单，但困难的部分是在手持相机时正确对齐。我们在这个领域的努力始于 2010 年的一款名为Synthcam的应用程序。这款应用程序连续拍摄照片，以低分辨率实时对齐和合并它们，并显示合并后的结果，在您观看时，结果会逐渐变得更清晰。Night
Sight 使用类似的原理，尽管是在全传感器分辨率下而不是实时的。在 Pixel 1 和 2 上，我们使用HDR+ 的合并算法，该算法经过修改和重新调整，以增强其检测和拒绝未对齐的帧片段的能力，即使在非常嘈杂的场景中也是如此。在 Pixel 3 上，我们使用Super Res Zoom，同样经过重新调整，无论您是否缩放。虽然后者是为超分辨率开发的，但它也可以降低噪点，因为它会将多张图像平均在一起。对于某些夜间场景，Super Res Zoom 的效果比 HDR+ 更好，但它需要更快的 Pixel 3 处理器。
顺便说一句，所有这些都在手机上几秒钟内完成。如果您快速点击将您带到胶片的图标（等到拍摄完成！），您可以在 HDR+ 或 Super Res Zoom 完成工作时看到您的照片“显影”。
其他挑战
虽然上面描述的基本想法听起来很简单，但在光线不足的情况下，开发夜视功能时会遇到一些困难：
1. 自动白平衡 (AWB) 在弱光下失效。
人类擅长色彩恒常性——即使在彩色照明下（或戴着太阳镜时）也能正确感知事物的颜色。但是，当我们在一种光线下拍摄照片并在另一种光线下查看时，这个过程就会中断；照片在我们看来会带有色彩。为了纠正这种感知效果，相机会调整图像的颜色，以部分或完全补偿照明的主色（有时称为色温），从而有效地改变图像中的颜色，使场景看起来像是由中性（白色）光照亮的。这个过程称为自动白平衡(AWB)。
问题是，白平衡是数学家所说的不适定问题。那片雪真的是蓝色的，就像相机记录下来的那样吗？或者是被蓝天照亮的白雪？可能是后者。这种模糊性使白平衡变得困难。非夜视模式中使用的 AWB 算法很好，但在非常昏暗或色彩强烈的灯光下（比如钠蒸气灯），很难确定照明是什么颜色。
为了解决这些问题，我们开发了一种基于学习的 AWB 算法，训练其区分白平衡良好的图像和白平衡不佳的图像。当捕获的图像平衡不佳时，该算法可以建议如何改变其颜色以使照明看起来更中性。训练该算法需要使用 Pixel 手机拍摄各种场景，然后在经过色彩校准的显示器上查看照片的同时手动校正白平衡。通过比较使用 Pixel 3 以两种方式捕获的相同低光场景，您可以看到该算法的工作原理：
2. 对太暗而无法看清的场景进行色调映射。
夜视的目标是拍摄出非常暗的场景照片，让您无法用肉眼清晰地看到它们——几乎就像超能力一样！一个相关的问题是，在非常昏暗的灯光下，人类无法看到颜色，因为我们视网膜中的视锥细胞停止运作，只剩下视杆细胞，它们无法区分不同波长的光。夜晚的场景仍然色彩缤纷；我们只是看不到它们的颜色。我们希望夜视照片色彩丰富——这是超能力的一部分，但另一个潜在的冲突。最后，我们的视杆细胞的空间敏锐度较低，这就是为什么事物在夜间看起来模糊不清的原因。我们希望夜视照片清晰，细节比您在夜间真正看到的更多。
例如，如果您将数码单反相机放在三脚架上并进行非常长的曝光——几分钟，或将几张较短的曝光叠加在一起——您可以让夜晚看起来像白天。阴影会有细节，场景会色彩鲜艳、清晰。看看下面这张照片，它是用数码单反相机拍摄的；那一定是晚上，因为你可以看到星星，但草地是绿色的，天空是蓝色的，月亮从树上投下的阴影看起来像太阳投下的阴影。这是一种不错的效果，但它并不总是你想要的，如果你和朋友分享这张照片，他们会搞不清楚你是什么时候拍的。
几个世纪以来，艺术家们已经知道如何让一幅画看起来像夜晚；请看下面的例子。
我们在 Night Sight 中采用了一些相同的技巧，部分是将S 曲线添加到色调映射中。但要在赋予您“神奇超能力”与提醒您照片拍摄时间之间取得有效平衡非常棘手。下面的照片在这方面做得特别成功。
Night Sight 能拍多暗？
低于 0.3 勒克斯，自动对焦开始失效。如果你在地上找不到钥匙，你的智能手机也无法对焦。为了解决这一限制，我们在 Pixel 3 的 Night Sight 中增加了两个手动对焦按钮 - “近”按钮对焦距离约为 4 英尺，“远”按钮对焦距离约为 12 英尺。后者是我们镜头的超焦距，这意味着从该距离的一半（6 英尺）到无穷远的所有物体都应该对焦。我们还在努力提高 Night Sight 在弱光下自动对焦的能力。低于 0.3 勒克斯，你仍然可以用智能手机拍出令人惊叹的照片，甚至可以进行天文摄影，正如这篇博文所展示的那样，但为此你需要一个三脚架、手动对焦，以及使用 Android 的 Camera2 API 编写的第三方或自定义应用程序。
我们能走多远？最终会达到一个光照水平，其中读取噪声淹没了该像素收集的光子数量。还有其他噪声源，包括暗电流，它会随着曝光时间的增加而增加，并随着温度的变化而变化。为了避免这种情况，生物学家知道在对弱荧光标本进行成像时将相机冷却到零度以下（华氏度）——我们不建议对你的 Pixel 手机这样做！超噪图像也很难可靠地对齐。即使你能解决所有这些问题，风也会吹，树也会摇晃，星星和云也会移动。超长曝光摄影很难。
以下是使用夜视功能的一些技巧：

- 夜视功能无法在完全黑暗的环境中运行，因此请选择有光线照射的场景。
- 柔和均匀的灯光比产生黑色阴影的强光效果更好。
- 为避免镜头眩光伪影，请尽量将非常明亮的光源排除在视野之外。
- 要增加曝光，请点击各种物体，然后移动曝光滑块。再次点击即可禁用。
- 要减少曝光，请先拍摄照片，稍后在Google 的照片编辑器中将其变暗；这样噪点就会少一些。
- 如果太暗相机无法对焦，请点击高对比度边缘，或光源的边缘。
- 为了最大限度地提高图像清晰度，请将您的手机靠在墙壁或树上，或将其支撑在桌子或岩石上。
- 夜视功能也适用于自拍，如A/B 相册中所示，可选择从屏幕本身进行照明。