引入包容性图像竞赛

lixia01

大型公开图像数据集（如ImageNet、Open Images和Conceptual Captions）的发布是推动计算机视觉领域取得巨大进步的因素之一。虽然这些数据集是开发有用的机器学习 (ML) 模型的必要和关键部分，但据发现，一些开源数据集根据其收集方式存在地理偏差。由于数据集的形状决定了 ML 模型的学习内容，这种偏差可能会导致研究界无意中开发出一些模型，这些模型在处理来自这些数据集中代表性不足的地理区域的图像时可能表现不佳。例如，下图展示了一个在 Open Images 数据集上训练的标准开源图像分类器，它没有正确地将“婚礼”相关的标签应用于来自世界各地的婚礼传统图像。
在 Google 专注于构建更具代表性的数据集的同时，我们也希望鼓励该领域的更多研究，研究如何使机器学习方法在从不完善的数据源学习时更具稳健性和包容性。这是一项重要的研究挑战，它突破了当前创建机器学习模型的方式。好的解决方案将有助于确保即使某些数据源不是完全包容的，使用它们开发的模型也可以做到。
为了支持这项工作并推动进一步发展包容性机器学习模型，我们很高兴地宣布在 Kaggle 上推出包容性图像竞赛。该竞赛与神经信息处理系统会议竞赛轨道合作开发，要求您使用Open Images（一个大型、多标签、公开可用的图像分类数据集，其中大多数样本来自北美和欧洲）来训练一个模型，该模型将根据从全球不同地理区域收集的图像进行评估。
本次比赛的数据分布分为三个地理分布。参赛者将在 Open Images 上训练他们的模型，Open Images 是一个广泛使用的公开图像分类基准数据集，其数据主要来自北美和西欧。然后，模型将首先在挑战赛第一阶段接受评估，最后在挑战赛第二阶段接受评估，每个阶段都有不同的未公开地理分布。通过这种方式，模型将接受压力测试，以确定其在训练数据之外进行包容性操作的能力。
为了评估模型，我们通过众包项目创建了两个挑战数据集，我们邀请来自世界各地的志愿者参与贡献他们周围环境的照片。我们希望这些由 Google 全球社区捐款建立的数据集将为本次比赛提供具有挑战性的基于地理位置的压力测试。我们还计划在比赛结束时发布一组更大的图像，以通过更具包容性的数据进一步鼓励包容性发展。
包容性图像竞赛于9 月 5 日正式启动，届时将提供训练数据和第一阶段挑战数据集。提交结果的截止日期为11 月 5 日星期一，测试集将于11 月 6 日星期二发布。有关更多详细信息和时间表，请访问包容性图像竞赛网站。
竞赛结果将在 2018 年神经信息处理系统会议上公布，我们将为排名靠前的参赛者提供参加会议的差旅补助（有关详细信息，请参阅此页面）。我们期待成为社区开发更具包容性的全球图像分类算法的一部分！
致谢
我们要感谢以下个人对包容性图像竞赛和数据集的贡献：James Atwood、Pallavi Baljekar、Parker Barnes、Anurag Batra、Eric Breck、Peggy Chi、Tulsee Doshi、Julia Elliott、Gursheesh Kour、Akshay Gaur、Yoni Halpern、Henry Jicha、Matthew Long、Jigyasa Saxena、Richa Singh 和 D. Sculley。