Google负责任的 AI 研究建立在协作的基础之上 — 具有不同背景和专业知识的团队、研究人员和产品开发人员以及整个社区之间的协作。感知公平性团队将计算机视觉和机器学习 (ML) 公平性方面的深厚专业知识与研究人员的直接联系相结合，推动进步，这些研究人员正在构建为 Google 及其他产品提供支持的感知系统。我们共同努力，在 Google的 AI 原则的指导下，从头开始有意识地设计我们的系统，使其具有包容性。
感知公平性研究涵盖先进多模式模型的设计、开发和部署，包括为 Google 产品提供支持的最新基础模型和生成模型。
我们团队的使命是推进多模态 ML 系统的公平性和包容性，尤其是与基础模型和生成式 AI相关的领域。这涵盖了核心技术组件，包括分类、定位、字幕、检索、视觉问答、文本到图像或文本到视频生成以及生成式图像和视频编辑。我们认为，公平性和包容性可以而且应该成为这些应用程序的首要性能目标。我们的研究重点是解锁新颖的分析和缓解措施，使我们能够在整个开发周期中主动设计这些目标。我们回答核心问题，例如：如何使用 ML 负责任地、忠实地模拟人类对人口、文化和社会身份的感知，以促进公平性和包容性？我们可以衡量哪些类型的系统偏见（例如，对具有某些肤色的人的图像表现不佳），以及如何使用这些指标来设计更好的算法？我们如何构建更具包容性的算法和系统并在发生故障时快速做出反应？
衡量媒体中人物的代表性
能够编辑、整理或创建图像或视频的机器学习系统可以影响接触其输出的任何人，从而塑造或强化世界各地观看者的信念。旨在减少表征伤害（例如强化刻板印象或贬低或抹杀某个群体）的研究需要深入了解内容和社会背景。这取决于不同的观察者如何看待自己、他们的社区或其他人的表现方式。关于应该用计算工具研究哪些社会类别以及如何负责任地进行研究，该领域存在相当多的争论。我们的研究重点是致力于寻求可扩展的解决方案，这些解决方案以社会学和社会心理学为基础，与人类感知相一致，拥抱问题的主观性，并实现细致入微的测量和缓解。一个例子是我们使用Monk Skin Tone 量表研究人类感知差异和图像肤色注释的研究。
我们的工具还用于研究大规模内容集合中的代表性。通过我们的“媒体理解与社会探索”（MUSE）项目，我们与学术研究人员、非营利组织和主要消费品牌合作，以了解主流媒体和广告内容中的模式。我们于 2017 年首次发表了这项工作，其中有一项合作研究分析了好莱坞电影中的性别平等问题。从那时起，我们扩大了分析的规模和深度。2019 年，我们发布了基于270 多万个 YouTube 广告的研究结果。在最新的研究中，我们研究了十二年来美国热门电视节目中感知性别表现、感知年龄和肤色交叉点的代表性。这些研究为内容创作者和广告商提供了见解，并进一步为我们自己的研究提供了参考。
可以进行大规模分析以揭示媒体集合中的表征模式的计算信号示意图（非实际数据）。[视频集/盖蒂图片社]
展望未来，我们将扩展我们关注的机器学习公平性概念以及负责任地应用这些概念的领域。除了逼真的人物图像之外，我们还致力于开发工具，以模拟插图、人形角色的抽象描绘，甚至是完全没有人的图像中社区和文化的表现。最后，我们不仅需要推理描绘的是谁，还需要推理他们是如何被描绘的——通过周围的图像内容、随附的文字和更广泛的文化背景传达了什么样的叙事。
分析感知系统的偏见特性
构建高级机器学习系统非常复杂，需要多个利益相关者提供决定产品行为的各种标准。总体质量历来都是使用测试数据集的汇总统计数据（如总体准确率）来定义和衡量的，以此作为用户体验的指标。但并非所有用户都以相同的方式体验产品。
感知公平性使得除了汇总统计数据之外，还可以对细微的系统行为进行实际测量，并使这些指标成为系统质量的核心，直接影响产品行为和发布决策。这通常比看起来要困难得多。将复杂的偏见问题（例如，跨交叉子群体的表现差异或刻板印象强化的情况）提炼为少数指标而不丢失重要的细微差别是极具挑战性的。另一个挑战是平衡公平性指标与其他产品指标（例如，用户满意度、准确性、延迟）之间的相互作用，这些指标通常被表述为相互冲突，尽管它们兼容。研究人员通常将他们的工作描述为优化“准确性-公平性”权衡，而实际上，广泛的用户满意度与实现公平性和包容性目标是一致的。
我们构建并发布了MIAP 数据集作为Open Images的一部分，利用我们对社会相关概念的感知和复杂系统中偏见行为的检测的研究，创建了一种资源，以促进计算机视觉领域的 ML 公平性研究。原始照片来源 — 左：波士顿公共图书馆；中间：jen robinson；右：Garin Fons ；所有照片均在CC-BY 2.0 许可下使用。
为此，我们的团队专注于两个广泛的研究方向。首先，使人们能够民主地使用易于理解和广泛适用的公平性分析工具，让合作伙伴组织将其纳入产品工作流程，并让公司领导层了解结果。这项工作包括开发广泛的基准，策划广泛使用的高质量测试数据集和以切片分析和反事实测试等技术为中心的工具——通常以前面描述的核心表示信号工作为基础。其次，推进公平性分析的新方法——包括与可能带来突破性发现或为发布策略提供信息的产品部门合作。
负责任地推进人工智能
我们的工作并不止于分析模型行为。相反，我们以此为起点，与产品团队的其他研究人员和工程师合作，寻找算法改进方法。在过去的一年里，我们推出了升级的组件，为 Google Photos 中的搜索和记忆功能提供支持，通过增加层来防止错误在系统中蔓延，从而提高性能并大幅提高稳定性。我们正在努力改进 Google 图片中的排名算法，以使其呈现方式多样化。我们更新了可能强化历史刻板印象的算法，负责任地使用额外的信号，这样每个人都更有可能在搜索结果中看到自己的影子，并找到他们想要的东西。
这项工作自然而然地延伸到了生成式人工智能的世界，模型可以从图像和文本提示中创建图像或视频集合，并可以回答有关图像和视频的问题。我们很高兴这些技术有潜力为用户带来新的体验，并作为进一步开展我们自己研究的工具。为了实现这一点，我们正在与研究和负责任的人工智能社区合作，开发可缓解故障模式的护栏。我们正在利用我们的理解表示工具来支持可与人工反馈相结合的可扩展基准，并投资从预训练到部署的研究，以引导模型生成更高质量、更具包容性和更可控的输出。我们希望这些模型能够启发人们，产生多样化的输出，在不依赖于比喻或刻板印象的情况下转化概念，并在反事实的提示变化中提供一致的行为和反应。
机遇和正在进行的工作
尽管经过十多年的专注研究，感知公平技术领域似乎仍是一个新兴且快速发展的领域，充满了突破性技术的机会。我们继续看到以跨学科学术研究为后盾的技术进步做出贡献的机会。我们在图像中可以测量的内容与人类身份和表达的根本方面之间存在巨大差距——缩小这一差距将需要越来越复杂的媒体分析解决方案。在适当的背景下并考虑到多种观点，表明真实表现的数据指标仍然是我们面临的挑战。我们能否达到这样的程度：可靠地识别细微刻板印象的描述，不断更新它们以反映不断变化的社会，并辨别它们可能令人反感的情况？由人类反馈驱动的算法进步指明了一条充满希望的道路。
在现代大型模型开发背景下，人工智能安全和道德问题成为关注的焦点，这激发了衡量系统性偏见的新思维方式。我们正在探索使用这些模型的多种途径，以及基于概念的可解释性方法、因果推理方法和前沿用户体验研究的最新进展，以量化和减少不良偏见行为。我们期待着应对未来的挑战，开发适合所有人的技术。
致谢
我们要感谢感知公平团队的每一位成员以及我们所有的合作者。
评论