利用社会背景知识促进人工智能的负责任应用

人工智能相关产品和技术是在社会背景下构建和部署的：即社会、文化、历史、政治和经济环境的动态和复杂集合。由于社会背景本质上是动态、复杂、非线性、有争议、主观和高度定性的，因此很难将其转化为主导标准机器学习 (ML) 方法和负责任的人工智能产品开发实践的定量表示、方法和实践。

AI 产品开发的第一阶段是问题理解，这一阶段对如何制定 ML 系统要解决的问题（例如，提高癌症筛查的可用性和准确性）以及许多其他下游决策（例如数据集和 ML 架构选择）有着巨大的影响。当产品运行的社会背景没有得到充分阐述，无法产生可靠的问题理解时，产生的 ML 解决方案可能会很脆弱，甚至会传播不公平的偏见。

当 AI 产品开发人员缺乏在开发过程中有效理解和考虑社会背景所需的知识和工具时，他们往往会将其抽象化。这种抽象使他们对试图解决的问题只有肤浅的定量理解，而产品用户和社会利益相关者——他们接近这些问题并嵌入相关的社会背景——往往对这些问题有深刻的定性理解。这种理解复杂问题的方式的定性和定量差异将产品用户和社会与开发人员分开，这就是我们所说的问题理解鸿沟。

这种差距在现实世界中产生了影响：例如，这是种族偏见的根本原因，这种偏见是由一种广泛使用的医疗保健算法发现的，该算法旨在解决为特殊项目选择具有最复杂医疗保健需求的患者的问题。由于对算法运行的社会背景理解不充分，系统设计者对关键问题因素形成了不正确且过于简单的因果理论。关键的社会结构因素，包括缺乏医疗保健机会、对医疗保健系统缺乏信任以及由于人为偏见导致的诊断不足， 都被忽略了，而医疗保健支出则被强调为复杂医疗需求的预测因素。

为了负责任地弥合问题理解鸿沟，AI 产品开发者需要一些工具，将关于复杂社会问题、经过社区验证的结构化社会背景知识放在触手可及的地方 — — 从问题理解开始，也贯穿整个产品开发生命周期。为此，社会背景理解工具和解决方案(SCOUTS) — — 谷歌研究中心负责任的 AI 和以人为本的技术(RAI-HCT) 团队的一部分— — 是一个专门的研究团队，专注于“为人们提供实现负责任、强大的 AI 和解决世界上最复杂的社会问题所需的可扩展、值得信赖的社会背景知识。”SCOUTS 的动机是阐明社会背景的重大挑战，它开展创新的基础和应用研究，以产生结构化的社会背景知识并将其整合到 AI 相关产品开发生命周期的所有阶段。去年，我们宣布，Jigsaw（Google 的孵化器，用于构建探索开放社会威胁的解决方案的技术）在模型开发的数据准备和评估阶段利用了我们的结构化社会背景知识方法，以扩大其广泛使用的Perspective API毒性分类器的偏差缓解范围。展望未来，SCOUTS 的研究议程将重点关注 AI 相关产品开发的问题理解阶段，目标是弥合问题理解鸿沟。

弥合人工智能问题理解鸿沟

弥合人工智能问题理解鸿沟需要两个关键因素：1) 组织结构化社会背景知识的参考框架；2) 参与性、非提取性方法，以引出社区对复杂问题的专业知识并将其表示为结构化知识。SCOUTS 在这两个领域都发表了创新研究。

问题理解鸿沟的例证。

社会背景参考框架

产生结构化知识的一个基本要素是创建组织结构的分类法。SCOUTS 与其他 RAI-HCT 团队（TasC、Impact Lab）、Google DeepMind和外部系统动力学专家合作，开发了社会背景的分类参考框架。为了应对社会背景的复杂性、动态性和适应性，我们利用复杂自适应系统(CAS) 理论提出了一种用于组织社会背景知识的高级分类模型。该模型确定了社会背景的三个关键要素以及将它们结合在一起的动态反馈回路：代理、规则和人工制品。

代理人：可以是个人，也可以是机构。

准则：约束和驱动代理行为的先入之见（包括信念、价值观、刻板印象和偏见）。基本准则的一个例子是“所有篮球运动员身高都超过 6 英尺”。这种限制性假设可能导致无法识别身材较小的篮球运动员。

人工制品：代理行为产生多种人工制品，包括语言、数据、技术、社会问题和产品。

这些实体之间的关系是动态且复杂的。我们的工作假设准则是社会背景中最关键的元素，我们强调人们所感知的问题以及他们持有的关于这些问题存在原因的因果理论，这些理论对于理解社会背景具有特别重要的影响。例如，在前面描述的医学算法中的种族偏见的情况下，设计者持有的因果理论准则是，复杂的健康问题会导致所有人群的医疗保健支出增加。这种错误的准则直接导致选择医疗保健支出作为模型预测复杂医疗保健需求的代理变量，这反过来又导致该模型对黑人患者产生偏见，由于社会因素，例如缺乏获得医疗保健的机会和由于偏见导致的诊断不足，黑人患者在有复杂医疗保健需求时并不总是花费更多。一个关键的未决问题是，我们如何才能合乎道德地、公平地从最接近不平等问题的人和社区中得出因果理论，并将其转化为有用的结构化知识？

社会背景参考框架的说明性版本。

社会背景参考框架的分类版本。

与社区合作，促进人工智能在医疗保健领域的负责任应用

自成立以来，SCOUTS 一直致力于在历史上处于边缘地位的社区中建立能力，以通过一种称为基于社区的系统动力学 (CBSD) 的实践来阐明对他们来说重要的复杂问题的更广泛社会背景。系统动力学(SD) 是一种阐明复杂问题因果理论的方法，既定性地 作为因果循环和存量流程图（分别为 CLD 和 SFD），又定量地作为模拟模型。可视化定性工具、定量方法和协作模型构建的固有支持使其成为弥合问题理解鸿沟的理想要素。CBSD 是一种基于社区的参与式 SD 变体，专门侧重于在社区内建立能力，以协作方式描述和建模他们面临的问题作为因果理论，无需中介。通过 CBSD，我们见证了社区团体在 2 小时内学习基础知识并开始绘制 CLD。

Data 4 Black Lives社区成员正在学习系统动力学。

AI 在改善医疗诊断方面具有巨大潜力。但 AI 相关健康诊断算法的安全性、公平性和可靠性取决于多样化和平衡的训练数据集。健康诊断领域的一个公开挑战是缺乏来自历史上被边缘化的群体的训练样本数据。SCOUTS 与Data 4 Black Lives社区和 CBSD 专家合作，为数据缺口问题提出了定性和定量的因果理论。这些理论包括构成健康诊断更广泛社会背景的关键因素，包括对死亡的文化记忆和对医疗保健的信任。

下图将上述合作过程中产生的因果理论描绘为 CLD。它假设对医疗保健的信任影响着这个复杂系统的所有部分，是增加筛查的关键杠杆，而筛查又会生成数据来克服数据多样性差距。

健康诊断数据缺口的因果循环图

这些来自社区的因果理论是通过可靠的社会背景知识弥合问题理解鸿沟的第一步。

结论

正如本博客所讨论的，问题理解鸿沟是负责任的人工智能面临的一个关键开放挑战。SCOUTS 与 Google Research 内的其他团队、外部社区和跨多个学科的学术合作伙伴合作开展探索性和应用性研究，以在解决该问题方面取得有意义的进展。展望未来，我们的工作将以我们的人工智能原则为指导，重点关注三个关键要素：

通过讲座、出版物和培训，增强对问题理解鸿沟及其影响的认识和理解。

进行基础和应用研究，将社会背景知识表示并整合到人工智能产品开发工具和工作流程中，从概念到监测、评估和调整。

将基于社区的因果建模方法应用于人工智能健康公平领域，以实现影响力，并建立社会和谷歌的能力，以产生和利用全球规模的社会背景知识来实现负责任的人工智能。

SCOUTS 飞轮用于弥合问题理解鸿沟。

致谢

感谢 John Guilyard 的图形开发、SCOUTS 中的每个人以及我们所有的合作者和赞助商。