宣布第一个机器学习挑战赛

深度学习最近推动了一系列应用领域的巨大进步，从逼真的图像生成和令人印象深刻的检索系统，到可以进行类似人类对话的语言模型。虽然这一进步令人兴奋，但深度神经网络模型的广泛使用需要谨慎：在 Google 的 AI原则的指导下，我们寻求以负责任的方式开发 AI 技术，了解和减轻潜在风险，例如不公平偏见的传播和放大以及保护用户隐私。

完全消除请求删除的数据的影响是一项艰巨的任务，因为除了简单地将其从存储它的数据库中删除之外，还需要消除该数据对其他工件（例如经过训练的机器学习模型）的影响。此外，最近的研究 [ 1 , 2 ] 表明，在某些情况下，可以使用成员推理攻击(MIA)高精度地推断出示例是否用于训练机器学习模型。这可能会引发隐私问题，因为这意味着即使从数据库中删除了个人数据，仍然可以推断出该个人数据是否用于训练模型。

鉴于上述情况，机器反学习是机器学习的一个新兴子领域，旨在从训练模型中消除特定训练示例子集（即“遗忘集”）的影响。此外，理想的反学习算法会消除某些示例的影响，同时保持其他有益特性，例如对其余训练集的准确性和对保留示例的泛化。生成此反学习模型的一种直接方法是在排除遗忘集样本的调整后的训练集上重新训练模型。然而，这并不总是可行的选择，因为重新训练深度模型的计算成本很高。理想的反学习算法会使用已训练的模型作为起点，并有效地进行调整以消除所请求数据的影响。

今天，我们很高兴地宣布，我们已经与众多学术和工业研究人员合作，组织了第一届机器反学习挑战赛。比赛考虑了一种现实场景，即在训练之后，必须忘记训练图像的某些子集，以保护相关个人的隐私或权利。比赛将在Kaggle上举办，参赛作品将根据遗忘质量和模型实用性自动评分。我们希望这次比赛将有助于推动机器反学习的最新发展，并鼓励开发高效、有效和合乎道德的反学习算法。

机器学习应用

机器学习的反学习除了保护用户隐私之外，还有许多其他应用。例如，人们可以利用反学习从训练模型中删除不准确或过时的信息（例如，由于标记错误或环境变化而导致的信息），或者删除有害、被操纵或异常的数据。

机器反学习领域与机器学习的其他领域相关，例如差异隐私、终身学习和公平性。差异隐私旨在保证没有特定的训练示例对训练后的模型产生过大的影响；与反学习相比，这是一个更强大的目标，反学习只需要消除指定遗忘集的影响。终身学习研究旨在设计能够在保持先前获得的技能的同时不断学习的模型。随着反学习工作的进展，它还可能开辟其他方法来提高模型的公平性，通过纠正不公平的偏见或对属于不同群体（例如人口统计、年龄组等）的成员的不同待遇。

反学习的剖析。反学习算法将预先训练的模型和一个或多个要反学习的训练集样本（“遗忘集”）作为输入。从模型、遗忘集和保留集中，反学习算法生成更新的模型。理想的反学习算法生成的模型与没有遗忘集训练的模型没有区别。

机器学习的挑战

遗忘问题复杂且涉及多个方面，因为它涉及多个相互冲突的目标：遗忘请求的数据、保持模型的效用（例如，保留和保留数据的准确性）和效率。因此，现有的遗忘算法会做出不同的权衡。例如，完全重新训练可以成功实现遗忘，而不会损害模型效用，但效率较差，而向权重中 添加噪声可以实现遗忘，但会牺牲效用。

此外，迄今为止，文献中对遗忘算法的评估一直存在很大差异。有些研究报告了要遗忘的样本的分类准确率，而另一些研究则报告了与完全重新训练的模型的距离，还有一些研究使用成员推理攻击的错误率作为遗忘质量的指标 [ 4 , 5 , 6 ]。

我们认为，评估指标不一致和缺乏标准化协议严重阻碍了该领域的进步——我们无法直接比较文献中不同的反学习方法。这让我们对不同方法的相对优缺点以及开发改进算法的开放挑战和机遇产生了短视的看法。为了解决评估不一致的问题并推进机器反学习领域的发展，我们与众多学术和工业研究人员合作组织了第一届反学习挑战赛。

宣布第一个机器学习挑战赛

我们很高兴地宣布，首届机器学习挑战赛将作为NeurIPS 2023 竞赛赛道的一部分举行。比赛的目标有两个。首先，通过统一和标准化机器学习的评估指标，我们希望通过同类比较来确定不同算法的优势和劣势。其次，通过向所有人开放这项比赛，我们希望培育新颖的解决方案，并阐明开放的挑战和机遇。

比赛将在Kaggle 上举办，时间为 2023 年 7 月中旬至 2023 年 9 月中旬。作为比赛的一部分，我们今天宣布推出入门套件。该入门套件为参赛者提供了一个基础，让他们可以在玩具数据集上构建和测试他们的反学习模型。

比赛考虑了一种现实场景，即年龄预测器已在人脸图像上进行训练，训练后，必须忘记训练图像的某个子集以保护相关个人的隐私或权利。为此，我们将作为入门套件的一部分提供合成人脸数据集（如下所示的样本），我们还将使用几个真实人脸数据集来评估提交的作品。要求参赛者提交代码，该代码以训练后的预测器、忘记和保留集作为输入，并输出已忘记指定忘记集的预测器的权重。我们将根据遗忘算法的强度和模型效用对提交的作品进行评估。我们还将实施严格的截止，拒绝运行速度比重新训练所需时间的一小部分慢的取消学习算法。本次比赛的一个有价值的成果将是描述不同取消学习算法的权衡。

从人脸合成数据集中摘录图像，并附上年龄注释。比赛考虑了这样的场景：年龄预测器已在类似上述的人脸图像上进行训练，训练结束后，必须忘记训练图像的某个子集。

为了评估遗忘，我们将使用受 MIA 启发的工具，例如LiRA。MIA最初是在隐私和安全文献中开发的，其目标是推断哪些示例是训练集的一部分。直观地说，如果反学习成功，则反学习模型不包含遗忘示例的任何痕迹，从而导致 MIA 失败：攻击者无法推断遗忘集实际上是原始训练集的一部分。此外，我们还将使用统计测试来量化反学习模型（由特定的提交反学习算法生成）的分布与从头开始重新训练的模型的分布之间的差异。对于理想的反学习算法，这两者是无法区分的。

结论

机器学习是一种强大的工具，它有可能解决机器学习中的几个未解决的问题。随着该领域的研究不断深入，我们希望看到更高效、更有效、更负责任的新方法。我们很高兴有机会通过这次比赛激发人们对该领域的兴趣，并期待与社区分享我们的见解和发现。

致谢

本文作者现为 Google DeepMind 的一员。我们代表 Unlearning 竞赛的组织团队撰写这篇博文：Eleni Triantafillou*、Fabian Pedregosa*（*同等贡献）、Meghdad Kurmanji、Kairan Zhao、Gintare Karolina Dziugaite、Peter Triantafillou、Ioannis Mitliagkas、Vincent Dumoulin、Lisheng Sun Hosoya、Peter Kairouz、Julio CS Jacques Junior、Jun Wan、Sergio Escalera 和 Isabelle Guyon。