使用 TensorFlow 中的 DeepLab 进行语义图像分割

lixia01

语义图像分割，即为图像中的每个像素分配语义标签（例如“道路”、“天空”、“人”、“狗”）的任务，可实现许多新应用，例如Pixel 2 和 Pixel 2 XL 智能手机的人像模式中附带的合成浅景深效果和移动实时视频分割。分配这些语义标签需要精确定位物体的轮廓，因此比其他视觉实体识别任务（例如图像级分类或边界框级检测）对定位精度的要求要严格得多。
今天，我们很高兴地宣布开源我们最新、性能最佳的语义图像分割模型DeepLab-v3+ [1] *，该模型在TensorFlow中实现。此版本包括基于强大的卷积神经网络(CNN) 主干架构 [2, 3] 构建的 DeepLab-v3+ 模型，旨在实现服务器端部署，从而获得最准确的结果。作为此版本的一部分，我们还将分享我们的 TensorFlow 模型训练和评估代码，以及已经在Pascal VOC 2012和Cityscapes基准语义分割任务上进行预训练的模型。
自三年前我们的 DeepLab 模型 [4] 首次亮相以来，改进的 CNN 特征提取器、更好的对象尺度建模、仔细吸收上下文信息、改进的训练程序以及日益强大的硬件和软件已带来 DeepLab-v2 [5] 和 DeepLab-v3 [6] 的改进。使用 DeepLab-v3+，我们通过添加简单而有效的解码器模块来扩展 DeepLab-v3，以优化分割结果，尤其是沿对象边界的分割结果。我们进一步将深度可分离卷积应用于空洞空间金字塔池化 [5, 6] 和解码器模块，从而构建更快、更强大的用于语义分割的编码器-解码器网络。
由于方法、硬件和数据集的进步，基于卷积神经网络 (CNN) 构建的现代语义图像分割系统已经达到了五年前难以想象的准确度水平。我们希望通过与社区公开分享我们的系统，让学术界和工业界的其他团体更容易复制和进一步改进最先进的系统，在新的数据集上训练模型，并为这项技术设想新的应用。
致谢
我们要感谢 Iasonas Kokkinos、Kevin Murphy、Alan L. Yuille（DeepLab-v1 和 -v2 的合著者）以及 Mark Sandler、Andrew Howard、Menglong Zhu、Chen Sun、Derek Chow、Andre Araujo、Haozhi Qi、Jifeng Dai 和 Google Mobile Vision 团队的支持和宝贵讨论。