通过公共卫星图像进行建筑物检测的进步带来了全球南方地区建筑物变化的开创性开放数据集。
到 2050 年,世界城市人口预计将增加 25 亿,其中近 90% 的增长发生在亚洲和非洲的城市。为了有效地规划人口增长、应对危机并了解城市化的影响,政府、人道主义组织和研究人员需要有关建筑物和基础设施的数据,包括它们如何随时间变化。然而,全球南方国家的许多地区缺乏这些数据,阻碍了发展努力。
2021 年,我们推出了开放建筑数据集,大大增加了非洲公开绘制的建筑物数量。后来,我们扩大了这项工作,将拉丁美洲、加勒比地区以及南亚和东南亚的建筑物纳入其中。从那时起,开放建筑数据集已被联合国机构、非政府组织和研究人员广泛用于规划电气化、危机应对、疫苗接种活动等。
开放建筑数据集用户要求提供显示建筑物随时间变化的数据,这可以改善城市规划并帮助我们更好地了解人类对环境的影响的变化。另一个常见的要求是提供建筑物的大致高度,这可以帮助估计人口密度,以便应对灾难或分配资源。由于可用的高分辨率卫星图像仅限于某些地点和时间,因此这两者都具有挑战性。对于一些农村地区和全球南方国家来说,上一次拍摄的图像是几年前拍摄的,因此很难有效地跟踪变化或了解当前情况。
为此,我们推出了Open Buildings 2.5D 时间数据集,该数据集基于新的实验结果,可估算随时间的变化并提供全球南方国家建筑物的高度数据。该数据集每年生成一张地图,显示 2016 年至 2023 年期间建筑物的存在、数量和高度的估计值,并使用Sentinel-2的 10 米分辨率图像覆盖非洲、拉丁美洲、南亚和东南亚 5800 万平方公里的区域。您可以在Open Buildings 网站或通过Earth Engine访问该数据集。
使用开放建筑 2.5D 时间数据集可视化埃及新开罗的建设。
2023 年的相对建筑密度来自开放建筑 2.5D 时间数据集。
开放建筑 2.5D 时间数据集
开放建筑数据集使用能够处理高分辨率卫星图像的机器学习模型来检测建筑物,从而区分更精细的图像细节。然而,高分辨率图像的挑战在于,某些位置可能距离上次拍摄图像已有数年之久,这使得这种方法在跟踪随时间变化方面效果较差。
使用高分辨率(50 厘米)卫星图像探测到乌干达坎帕拉的建筑物足迹。
为了解决这个问题,我们使用了欧洲航天局提供的Sentinel-2公共卫星图像。虽然 Sentinel-2 图像的细节程度要低得多,但地球上的每个点大约每五天拍摄一次,地面上的每个像素都是 10 平方米。这种数据丰富性使我们能够以比单张图像更高的分辨率检测建筑物。
Sentinel-2 图像和我们的模型从中提取的高分辨率建筑物数据层。
对于单个预测,我们使用学生和教师模型方法(下文将详细介绍),该方法最多需要拍摄同一位置的 32 个时间帧的低分辨率图像。Sentinel-2 卫星每五天重新访问地球上的每个位置,每次捕捉略有不同的视角。我们的方法利用这些移位图像来提高图像分辨率并准确检测建筑物。这类似于 Pixel 手机使用多张相机抖动拍摄的照片来输出更清晰的照片。
每张 Sentinel-2 图像之间的视野都会略有变化。
学生模型和教师模型均基于HRNet,并对学生模型进行了一些修改,以便在代表不同时间范围的通道之间共享信息。首先,我们创建一个训练数据集,其中包含 1000 万个随机采样位置的相应高分辨率和 Sentinel-2 图像。教师模型获取高分辨率图像并输出训练标签。学生模型仅对 Sentinel-2 图像集进行操作,无法看到相应的高分辨率图像,旨在重现教师模型的高分辨率预测。它可以获取一堆 Sentinel-2 图像并重现高分辨率教师模型所预测的内容。.
教师模型为学生模型输出高分辨率的训练标签。
学生模型采用一堆 Sentinel-2 图像(底部)来重新创建教师模型(顶部)的预测,而无需访问高分辨率图像。
为了帮助在空间上对齐模型输出,该模型还生成了超分辨率灰度图像,这是对高分辨率图像的灰度版本的估计。当我们在特定位置的所有 Sentinel-2 图像上运行学生模型时,使用 32 帧的滑动窗口,我们能够看到地面随时间的变化。例如,下面的动画显示了加纳库马西郊区的发展,包括建筑物、道路和超分辨率灰度图像。
加纳库马西郊区正在建设的建筑物和道路。
我们发现,从此类数据(78.3% 平均IoU )中获得的细节水平可能接近我们的高分辨率模型(85.3% 平均 IoU)。虽然我们今天发布的是年度数据,但考虑到建模方法,从技术上讲,以更频繁的间隔生成数据是可能的。
计数建筑物
对于涉及建筑物的许多分析任务,需要估计特定区域内的建筑物数量。我们生成的栅格数据不能直接用于识别单个建筑物。但是,我们发现可以在模型中添加一个额外的头(输出),这使我们能够直接预测给定区域的建筑物数量。
从左到右:供参考的高分辨率图像;Sentinel-2 堆栈顶部的 RGB 通道;基于高分辨率图像的人工标签;训练目标蒙版;分割输出。
我们通过标记每栋建筑的质心来训练这个模型头。在测试时,无论建筑大小,甚至建筑物彼此靠近,模型都会预测每栋建筑有一个恒定的中心。我们发现,对于这个模型,虽然质心可能并不总是位于建筑物的中心,但每个像素的预测总和与建筑物数量密切相关。通过这种方式,我们可以估算出每年的建筑物数量,即使是大面积的建筑物。我们根据变异系数(R2) 和平均绝对误差(MAE) 评估了 300 ×300 米方格计数的准确度,发现估计值在绝对值和对数尺度上都是一致的(后者有助于显示建筑物密度非常低或非常高的测试用例)。
评估300米见方砖内建筑物数量的计算精度。
估算建筑物高度
建筑物高度的大致数据有助于估计人口密度,而建筑物楼层的大致数量有助于估计自然灾害的影响规模,或者了解某个地区的建筑容量是否足以容纳人口。
为此,我们在模型中添加了另一个输出,用于预测建筑物相对于地面的高度栅格。我们的建筑物高度训练数据仅适用于某些地区,主要是美国和欧洲,因此我们在全球南部进行了有限的评估,而是对建筑物进行了一系列抽样检查。总体而言,我们发现高度估计的平均绝对误差为 1.5 米,小于一层楼。
对每个像素的高度预测和基本事实进行采样。
模型限制
虽然我们已经提高了从 Sentinel-2 10 米影像获得的精度水平,但这仍然是一个非常具有挑战性的检测问题,在使用数据进行实际决策时,考虑模型的局限性非常重要。我们建议与其他数据集进行交叉引用,以评估特定位置的精度。例如,我们的高分辨率矢量数据提供了基于不同源影像的最新快照。与地图的卫星层进行视觉比较也有助于识别差异。
我们的方法依赖于每个位置的无云 Sentinel-2 图像堆栈作为输入。在某些地区,例如赤道几内亚等潮湿地区,全年可能只有一两张无云图像可用。在这些情况下,结果不太可靠,或者可能表现为某些年份的整体置信度较低或建筑物数量较少,如下所示。
由于卫星位置和云量的变化,孟加拉国达卡的空间位置和建筑物检测信心不一致。
可检测结构的大小是有限制的。虽然我们能够拾取比单个 Sentinel-2 像素小得多的建筑物,但对于非常小的结构,存在限制。相反,该模型可能会输出错误检测,例如将雪地特征(示例)或太阳能电池板(示例)识别为建筑物。
未发现位于索马里拜多的小型帐篷避难所。
对于涉及建筑物的许多分析任务,矢量数据表示(例如多边形)是首选,正如开放建筑数据集所提供的那样。但是,2.5D 时间建筑物数据集采用栅格格式,对于某些应用程序来说,这种格式更难处理。使用进一步建模直接从此数据集创建矢量足迹或与静态高分辨率建筑物足迹结合使用可能是可行的,但这仍是一个悬而未决的研究问题。时间帧之间有限的空间配准也会影响分析,因为建筑物可能会出现移动或形状发生变化。开放建筑网站上解释了数据集的一些其他问题,例如平铺伪影和误报。
使用案例
我们一直在与合作伙伴合作,他们就 2.5D 时间数据集分享了反馈,并开始在工作中利用它。合作伙伴包括WorldPop(他们创建了广泛使用的全球人口估计值)、联合国人居署(他们处理城市可持续性和不断变化的建筑环境)和Sunbird AI(他们评估了这些数据以用于城市规划和农村电气化)。
Open Buildings 2.5D 时间数据集的潜在用例包括:
政府机构:获得有关城市增长模式的宝贵见解,为规划决策提供信息并有效分配资源。
人道主义组织:快速评估受灾地区的建筑密集区范围,以便有针对性地提供援助。
研究人员:跟踪发展趋势,研究城市化对环境的影响,并更准确地模拟未来情景。
我们邀请研究人员、政策制定者和开发从业者探索 Open Buildings 2.5D 时间数据集并与我们分享反馈。
致谢
开展此项工作并使公开发布成为可能的 Google Research 团队包括 Wojciech Sirko、Krishna Sapkota、Juliana TC Marcos、Abigail Annkah、Olivia Graham、Emmanuel Asiedu Brempong、Abel Korme、Mohammed Alewi Hassen、Sella Nevo、Tomer Shekel、Abdoulaye Diack 和 Jason Hickey。
评论