全球化技术有可能产生大规模的社会影响，而采用扎根于现有国际人权和公民权利标准的扎实研究方法是确保负责任且合乎道德的 AI 开发和部署的关键要素。Impact Lab 团队是 Google负责任 AI 团队的一部分，采用一系列跨学科方法来确保对技术发展的潜在影响进行批判性和丰富的分析。该团队的使命是研究 AI 对社会经济和人权的影响，发表基础研究成果，并孵化新的缓解措施，使机器学习 (ML) 从业者能够促进全球公平。我们使用数据分析、人权和参与框架来研究和开发可扩展、严谨且基于证据的解决方案。
影响实验室目标的独特之处在于其多学科方法和经验的多样性，包括应用研究和学术研究。我们的目标是扩展负责任的人工智能的认知视角，以历史上被边缘化的社区的声音为中心，并通过提供基于研究的方法来了解不同的观点和经验应如何影响技术的发展，从而克服对影响进行无根据分析的做法。
我们所做的
为了应对机器学习日益复杂的现状以及大规模机器学习与人类之间日益紧密的联系，我们的团队批判性地审视了技术如何影响社会的传统假设，以加深我们对这种相互作用的理解。我们与社会科学和技术哲学领域的学者合作，发表基础研究，重点关注机器学习如何发挥作用。我们还为组织中一些最具挑战性的工作提供研究支持，包括 1,000 种语言计划以及正在进行的语言和生成模型测试和评估工作 。我们的工作为Google 的 AI 原则增添了分量。
为此，我们：
进行基础性和探索性研究，以创建可扩展的社会技术解决方案
创建数据集和基于研究的框架来评估 ML 系统
定义、识别和评估人工智能的负面社会影响
创建用于构建大型模型的数据收集的负责任的解决方案
开发新方法和途径，支持负责任地部署 ML 模型和系统，以确保安全性、公平性、稳健性和用户责任
将外部社区和专家的反馈转化为经验见解，以更好地了解用户需求和影响
寻求平等合作，努力建立互利伙伴关系
我们不仅努力重新构想评估人工智能不利影响的现有框架以回答雄心勃勃的研究问题，而且还努力提升这项工作的重要性。
目前的研究工作
了解社会问题
我们提供严谨的分析工具和方法的动机是确保充分理解社会技术影响和公平性与文化和历史细微差别之间的关系。这非常重要，因为它有助于培养更好地理解承受最大负担的社区的动机和能力，并展示严谨和有针对性的分析的价值。我们的目标是积极与该问题领域的外部思想领袖合作，在评估潜在危害和影响时重新构建我们现有的思维模式，避免依赖 ML 技术中毫无根据的假设和刻板印象。我们与斯坦福大学、加州大学伯克利分校、爱丁堡大学、Mozilla 基金会、密歇根大学、海军研究生院、数据与社会、洛桑联邦理工学院、澳大利亚国立大学和麦吉尔大学的研究人员合作。
我们研究系统性的社会问题并为负责任的人工智能开发生成有用的成果。
关注弱势群体的声音
我们还成立了公平人工智能研究圆桌会议(EARR)，这是一个新颖的社区研究联盟，旨在与教育、法律、社会公正、人工智能伦理和经济发展领域的公平专家、外部非营利组织和研究组织领导人建立持续的合作伙伴关系。这些伙伴关系提供了与多学科专家就复杂研究问题进行交流的机会，这些问题涉及我们如何利用其他领域的经验教训来集中和理解公平。我们的合作伙伴包括PolicyLink；教育信托基金 - 西部；诺特利；人工智能伙伴关系；加州大学伯克利分校的 他者化和归属感研究所；迈克尔逊知识产权研究所、埃默里大学的 HBCU IP 未来合作组织；巴纳陶研究所的社会利益信息技术研究中心(CITRIS)；以及德克萨斯大学奥斯汀分校的查尔斯 A. 达纳中心。 EARR 项目的目标是：（1）以历史上被边缘化或代表性不足的群体的经历为中心，（2）定性地理解和确定在技术背景下研究社会危害及其类比的潜在方法，（3）扩大专业知识和相关知识的视野，因为它与我们在负责任和安全的人工智能开发方法方面的工作有关。
通过半结构化的研讨会和讨论，EARR 就如何概念化与 AI 技术相关的公平性和脆弱性提供了批判性观点和反馈。我们与 EARR 贡献者就生成式 AI、算法决策、透明度和可解释性等一系列主题展开了合作，成果涵盖对抗性查询、框架和案例研究。当然，将跨学科的研究见解转化为技术解决方案的过程并不总是那么容易，但这项研究是一次有益的合作。我们在本文中介绍了对此次合作的初步评估。
EARR：机器学习开发生命周期的组成部分，其中多学科知识是减轻人类偏见的关键。
以公民权利和人权价值观为基础
与我们的公民权利和人权计划合作，我们的研究和分析过程以国际公认的人权框架和标准为基础，包括《世界人权宣言》和《联合国工商企业与人权指导原则》。利用公民权利和人权框架作为起点，可以采取针对具体情况的研究方法，考虑到技术的部署方式及其对社区的影响。最重要的是，基于权利的研究方法使我们能够优先考虑概念和应用方法，强调了解最脆弱的用户和最突出的危害的重要性，以便更好地为日常决策、产品设计和长期战略提供信息。
正在进行的工作
有助于数据集开发和评估的社会背景
我们寻求采用一种以公平为基础的数据集管理、模型开发和评估方法，避免使用匆忙但有潜在风险的方法，例如使用不完整的数据或不考虑与数据集相关的历史和社会文化因素。负责任的数据收集和分析需要对数据创建的背景进行额外的仔细考虑。例如，人们可能会看到用于构建模型的人口统计变量之间的结果存在差异，并且应该质疑其中的结构性和系统级因素，因为某些变量最终可能反映历史、社会和政治因素。通过使用种族或民族、性别或邮政编码等代理数据，我们正在系统地将整个不同群体的生活经历融合在一起，并用它来训练模型，这些模型可以重现和维护整个人群的有害和不准确的性格特征。关键数据分析还需要仔细理解变量之间的相关性或关系并不意味着因果关系；我们看到的关联通常是由其他多个变量 引起的。
社会背景与模型结果的关系
基于对数据和数据集构建的这种扩展和细致入微的社会理解，我们还着手解决预测或改善机器学习模型在现实世界中部署后的影响的问题。从教育到医疗保健，机器学习在各种环境中的使用以无数种方式加剧了现有的不平等，因为这些系统的开发者和决策用户缺乏相关的社会理解、历史背景，也没有让相关利益相关者参与进来。这是机器学习领域的一项研究挑战，也是我们团队的核心研究课题。
以全球责任感为中心的人工智能社区专家
我们的团队还认识到了解全球社会技术背景的重要性。为了履行 Google “整合全球信息，让所有人都能访问和使用”的使命，我们的团队正在全球范围内开展研究合作。例如，我们正在与乌干达马凯雷雷人工智能实验室的自然语言处理团队和以人为本团队合作，研究与语言模型开发相关的文化和语言细微差别。
结论
我们将继续通过开展进一步的社会技术研究和聘请外部专家来解决在现实世界中部署的机器学习模型的影响，这些专家也是历史上和全球范围内被剥夺权利的社区的一部分。影响实验室很高兴能够提供一种通过利用社会科学、评估和人权认识论来为应用问题开发解决方案的方法。
致谢
我们要感谢 Impact Lab 团队的每一位成员—— Jamila Smith-Loud、Andrew Smart、Jalon Hall、Darlene Neal、Amber Ebinama 和 Qazi Mamunur Rashid——感谢 他们所做的所有努力，以确保 ML 对其社区乃至全世界的用户和社会更加负责。
评论