HDR+ 连拍摄影数据集简介

lixia01

连拍摄影是 Google 最新智能手机上 HDR+ 软件的核心理念，也是提高图像质量的基本计算摄影技术。使用 HDR+ 拍摄的每张照片实际上都是合成图，通过捕捉和合并一小段全分辨率照片而生成。HDR+ 帮助 Pixel和Pixel 2连续两年获得 DxO 最高移动相机排名。Pixel 2 上的新肖像模式也依赖于 HDR+，既是为了基本图像质量，也是为了提高深度估计的质量。今天，我们很高兴地宣布向研究界
公开发布图像连拍档案。这为其他人提供了一种方法，可以将他们的方法与Google 的 HDR+ 软件在相同输入图像上运行的结果进行比较。该数据集包含 3,640 组全分辨率原始图像连拍，由 28,461 张独立图像组成，以及用于比较的 HDR+ 中间结果和最终结果。这些图像涵盖了广泛的摄影情况，包括拍摄对象、运动水平、亮度和动态范围的变化。
通过连拍摄影获得更佳图像
连拍摄影具有收集更多光线的优势，包括降噪和改善动态范围，同时还能避免因增加曝光时间而产生的运动模糊。这对于小型智能手机相机尤为重要，因为否则它们的尺寸会限制其可捕捉的光量。
自从 HDR+在 Nexus 5 和 6 上首次发布以来，我们一直在忙于改进系统。正如我们最近的SIGGRAPH Asia 论文中所述，HDR+ 现在从原始图像开始，这有助于提高图像质量。这也意味着图像处理管道完全使用我们的软件实现。接下来，我们消除了快门延迟，让摄影感觉瞬间完成。您获得的 HDR+ 照片与按下按钮的那一刻相对应。最后，我们通过在 Qualcomm Hexagon DSP和全新Pixel Visual Core等加速器上实现 HDR+，缩短了处理时间并降低了功耗。
缩略图马赛克展示了 HDR+ 数据集的大小和多样性。将 HDR+ 这样的计算摄影系统投入生产，用户每天会拍摄数百万张照片，这意味着必须以稳健的方式处理奇怪的摄影极端情况。
使用数据集
HDR+ 数据集的规模和多样性也为应用现代机器学习方法提供了机会。我们的数据集已被纳入最近的一篇研究论文，该论文使用神经网络来近似 HDR+ 管道的一部分，并将其约束为适合快速图像处理的表示。目前，还有几篇将学习应用于 HDR+ 数据集的论文正在审查中。
受Middlebury立体数据档案的启发，我们希望共享数据集将使社区能够专注于比较结果。这种方法本质上比期望研究人员自己配置和运行竞争技术或从头开始实施它们（如果代码是专有的）更有效。HDR+ 数据集是根据知识共享许可证 (CC-BY-SA ) 发布的。此许可证基本上不受限制，但我们的主要目的是将数据集用于科学目的。有关如何引用数据集的信息，请参阅详细说明。我们期待看到研究人员还能用 HDR+ 数据集做些什么！
致谢
特别感谢 HDR+ 数据集的摄影师和主题。