EfficientNet：通过 AutoML 和模型扩展提高准确性和效率

lixia01

卷积神经网络(CNN) 通常以固定的资源成本进行开发，然后在有更多资源可用时进行扩展以实现更好的准确性。例如，ResNet可以通过增加层数从 ResNet-18 扩展到 ResNet-200，最近，GPipe通过将基线 CNN 扩大四倍实现了 84.3% 的ImageNet top-1 准确率。模型扩展的传统做法是任意增加 CNN 的深度或宽度，或使用更大的输入图像分辨率进行训练和评估。虽然这些方法确实可以提高准确性，但它们通常需要繁琐的手动调整，并且仍然经常产生次优性能。如果我们能找到一种更有原则的方法来扩大 CNN 以获得更好的准确性和效率，那会怎样？
在我们的ICML 2019论文“ EfficientNet：重新思考卷积神经网络的模型缩放”中，我们提出了一种新颖的模型缩放方法，该方法使用简单但高效的复合系数以更结构化的方式扩展 CNN。与任意缩放网络维度（例如宽度、深度和分辨率）的传统方法不同，我们的方法使用一组固定的缩放系数均匀缩放每个维度。借助这种新颖的缩放方法和AutoML的最新进展，我们开发了一系列称为 EfficientNets 的模型，其效率提高了 10 倍（更小、更快），超越了最先进的准确率。
复合模型扩展：扩展 CNN 的更好方法
为了了解扩展网络的效果，我们系统地研究了扩展模型不同维度的影响。虽然扩展单个维度可以提高模型性能，但我们观察到，平衡网络的所有维度（宽度、深度和图像分辨率）与可用资源最能提高整体性能。
复合缩放方法的第一步是执行网格搜索，以在固定资源约束（例如，2 倍FLOPS）下找到基线网络不同缩放维度之间的关系。这确定了上述每个维度的适当缩放系数。然后，我们应用这些系数将基线网络扩展到所需的目标模型大小或计算预算。
与传统的缩放方法相比，这种复合缩放方法可以持续提高模型准确率和效率，从而扩展现有模型，例如MobileNet（+1.4% 的 imagenet 准确率）和ResNet（+0.7%）。
高效网络架构
模型扩展的有效性也在很大程度上依赖于基线网络。因此，为了进一步提高性能，我们还通过使用AutoML MNAS 框架执行神经架构搜索开发了一个新的基线网络，该网络可同时优化准确率和效率（FLOPS）。生成的架构使用移动反向瓶颈卷积 (MBConv)，类似于MobileNetV2和MnasNet，但由于 FLOP 预算增加而略大。然后，我们扩大基线网络以获得一组模型，称为EfficientNets。
高效网络性能
我们在ImageNet 上将我们的 EfficientNets 与现有的其他 CNN 进行了比较。总体而言，与现有的 CNN 相比，EfficientNet 模型实现了更高的准确率和更好的效率，将参数大小和 FLOPS 降低了一个数量级。例如，在高精度模式下，我们的 EfficientNet-B7 在 ImageNet 上达到了最先进的 84.4% top-1 / 97.1% top-5 准确率，同时比之前的Gpipe小 8.4 倍，CPU 推理速度快 6.1 倍。与广泛使用的ResNet-50相比，我们的 EfficientNet-B4 使用相似的 FLOPS，同时将 top-1 准确率从 ResNet-50 的 76.3% 提高到 82.6% (+6.3%)。
尽管 EfficientNets 在 ImageNet 上表现良好，但为了发挥最大作用，它们还应该迁移到其他数据集。为了评估这一点，我们在八个广泛使用的迁移学习数据集上测试了 EfficientNets。EfficientNets 在 8 个数据集中的 5 个数据集中实现了最佳准确率，例如CIFAR-100 (91.7%) 和Flowers (98.8%)，参数数量减少了一个数量级（参数减少了多达 21 倍），这表明我们的 EfficientNets 也具有良好的迁移性能。
通过显著提高模型效率，我们预计 EfficientNets 有望成为未来计算机视觉任务的新基础。因此，我们已开源所有 EfficientNet 模型，希望这能造福更大的机器学习社区。您可以在此处找到 EfficientNet 源代码和TPU训练脚本。
致谢：
特别感谢 Hongkun Yu、Ruoming Pang、Vijay Vasudevan、Alok Aggarwal、Barret Zoph、Xianzhi Du、Xiaodan Song、Samy Bengio、Jeff Dean 和 Google Brain 团队。