引入无限制对抗样本挑战

lixia01

机器学习正被部署到越来越多的实际应用中，包括医学、化学和农业。在安全关键环境中部署机器学习时，仍然存在重大挑战。特别是，所有已知的机器学习算法都容易受到对抗性示例的攻击——攻击者故意设计的输入会导致模型出错。虽然之前对对抗性示例的研究主要集中在调查由小修改导致的错误以开发改进的模型，但现实世界的对抗代理通常不受“小修改”约束的约束。此外，机器学习算法在面对对手时通常会犯自信错误，这使得开发不会犯任何自信错误的分类器成为一个重要的未解决的问题，即使在对手可以提交任意输入试图欺骗系统的情况下也是如此。
今天，我们宣布推出无限制对抗性示例挑战赛，这是一项基于社区的挑战赛，旨在激励和衡量机器学习模型实现零自信分类错误目标的进展。虽然先前的研究主要集中于对抗性示例，这些示例仅限于对预先标记的数据点进行微小更改（允许研究人员假设图像在受到微小扰动后应该具有相同的标签），但此次挑战允许不受限制的输入，允许参与者提交来自目标类别的任意图像，以在更广泛的对抗性示例上开发和测试模型。
对抗性示例可以通过多种方式生成，包括对输入像素进行细微修改，也可以使用空间变换或简单的猜测和检查来查找错误分类的输入。
挑战赛结构
参赛者可以以两种角色之一提交参赛作品：作为防守者，提交一个设计得难以欺骗的分类器；或作为攻击者，提交任意输入以试图欺骗防守者的模型。在挑战赛前的“热身”阶段，我们将提供一组固定攻击，供参赛者设计网络进行防御。在社区能够最终击败这些固定攻击后，我们将启动全面的双边挑战赛，攻击和防御均有奖励。
为了应对此次挑战，我们设计了一个简单的“鸟或自行车”分类任务，分类器必须回答以下问题：“这是一张明确的鸟或自行车的图片，还是模糊/不明显的？ ” 我们之所以选择这项任务，是因为区分鸟类和自行车对人类来说非常容易，但是当有对手在场时，所有已知的机器学习技术都难以完成这项任务。
防御者的目标是高精度地正确标记一组干净的鸟类和自行车测试集，同时对攻击者提供的任何鸟类或自行车图像不犯任何置信错误。攻击者的目标是找到一张防御分类器可以自信地将其标记为自行车（或反之亦然）的鸟的图像。我们希望让防御者尽可能轻松地完成挑战，因此我们丢弃所有模糊（例如骑自行车的鸟）或不明显的图像（例如公园的鸟瞰图或随机噪声）。
模糊和无模糊图像的示例。防守者必须对无模糊的鸟类或自行车图像不犯任何自信错误。我们会丢弃所有人类认为模糊或不明显的图像。所有图像均受CC许可1、2、3、4约束。
攻击者可以提交任何鸟类或自行车的图像，试图欺骗防御分类器。例如，攻击者可以拍摄鸟类照片、使用 3D 渲染软件、使用图像编辑软件进行图像合成、使用生成模型或任何其他技术制作新的鸟类图像。
为了验证攻击者提供的新图像，我们要求一组人类标记图像。此过程让我们允许攻击者提交任意图像，而不仅仅是经过小幅修改的测试集图像。如果防御分类器自信地将攻击者提供的任何图像归类为“鸟类”，而人类标记者一致将其标记为自行车，则防御模型已被攻破。您可以在我们的论文中了解有关挑战结构的更多详细信息。
如何参与如果您有兴趣参与，可以在github 上的项目
中找到入门指南。我们已经发布了热身赛的数据集、评估流程和基线攻击，我们将持续更新排行榜，列出社区中最好的防御措施。期待您的参赛！致谢无限制对抗性示例挑战赛背后的团队包括来自 Google 的 Tom Brown、Catherine Olsson、Nicholas Carlini、Chiyuan Zhang 和 Ian Goodfellow，以及来自 OpenAI 的 Paul Christiano。