人工智能 (AI) 和相关的机器学习 (ML) 技术在我们周围的世界中影响力越来越大，因此我们必须考虑我们所创造技术的各个方面对社会和个人的潜在影响。为此，人工智能研究背景 (CAIR) 团队在整个人工智能流程的背景下开发新颖的人工智能方法： 从数据到最终用户反馈。构建人工智能系统的流程通常从数据收集开始，然后设计一个模型来在该数据上运行，在现实世界中部署该模型，最后汇编和整合人类反馈。CAIR 团队的工作起源于健康领域，现在扩展到其他领域，影响着这个流程的各个方面。在专注于模型构建的同时，我们特别注重构建具有责任感的系统，包括公平性、稳健性、透明度和包容性。
数据
CAIR 团队专注于了解构建 ML 系统所基于的数据。提高 ML 数据集透明度的标准对我们的工作至关重要。首先，我们使用文档框架来阐明数据集和模型特征，作为开发数据和模型文档技术的指导——数据集的数据表和模型报告的模型卡。
例如，健康数据集非常敏感，但会产生重大影响。为此，我们开发了Healthsheets，这是 Datasheet 的健康情境化改编版。我们开发健康专用工作表的动机在于现有 AI 和健康监管框架的局限性。最近的研究表明，数据隐私法规和标准（例如HIPAA、GDPR、加州消费者隐私法案）并不能确保数据的收集、记录和使用符合道德规范。Healthsheets 旨在填补道德数据集分析方面的这一空白。Healthsheets 是与相关工作角色的许多利益相关者合作开发的，包括临床、法律和监管、生物伦理、隐私和产品。
此外，我们研究了如何将数据表和健康表用作诊断工具，以揭示数据集的局限性和优势。我们的目标是在社区中发起对话，并随着时间的推移根据不断变化的医疗保健场景定制健康表。
为了促进这项工作，我们加入了STANDING Together倡议，这是一个旨在制定国际共识标准以记录健康数据集中的多样性和代表性的联盟，并就如何降低偏见导致伤害和健康不平等的风险提供指导。作为这一国际跨学科合作伙伴关系的一部分，该合作伙伴关系涵盖全球学术、临床、监管、政策、行业、患者和慈善组织，使我们能够参与国际医疗保健人工智能责任的对话。来自 32 个国家的 250 多个利益相关者为完善标准做出了贡献。
Healthsheets 和 STANDING Together：迈向健康数据文档和标准。
模型
当 ML 系统部署到现实世界中时，它们可能无法按照预期的方式运行，从而在新环境中做出错误的预测。此类故障可能出于多种原因，并可能带来负面影响，尤其是在医疗保健领域。我们的工作旨在识别可能在意外模型行为成为重大问题之前发现的情况，并减轻意外和不良后果。
CAIR 团队的大部分建模工作都集中在识别和缓解模型不足的情况。我们表明，在从训练域中提取的保留数据上表现良好的模型在分布变化下并不同样稳健或公平，因为这些模型在依赖虚假相关性的程度上有所不同。这对用户和从业者构成了风险，因为使用标准模型评估实践很难预测模型不稳定性。我们已经证明这种担忧出现在多个领域，包括计算机视觉、自然语言处理、医学成像和电子健康记录预测。
我们还展示了如何利用因果机制知识来诊断和缓解新情况下的公平性和稳健性问题。因果结构知识使从业者能够预测现实医疗环境中分布转变下公平性属性的普遍性。此外，通过研究特定因果路径或“捷径”在机器学习系统中引入偏见的能力，我们展示了如何识别捷径学习导致机器学习系统中的预测无意中依赖于敏感属性（例如年龄、性别、种族）的情况。我们展示了如何使用因果有向无环图使机器学习系统适应复杂分布转变形式下不断变化的环境。我们的团队目前正在研究如何通过对不同形式偏见（包括选择偏见、标签偏见和测量误差）的因果解释来激发设计在模型开发和评估过程中减轻偏见的技术。
捷径学习：对于某些模型，年龄可能作为使用医学图像进行分类的捷径。
CAIR 团队专注于开发方法，以广泛构建更具包容性的模型。例如，我们还致力于设计参与式系统，当 ML 系统进行预测时，个人可以选择是否披露敏感属性，例如种族。我们希望我们的方法研究能够对社会对 AI 方法开发包容性的理解产生积极影响。
部署
CAIR 团队的目标是通过使用移动设备技术来开发改善所有人生活的技术。我们的目标是减少健康状况带来的痛苦，解决系统性不平等问题，并实现基于设备的透明数据收集。随着健身追踪器和手机等消费技术成为健康数据收集的核心，我们探索了在慢性病背景下使用这些技术，特别是多发性硬化症(MS)。我们开发了新的数据收集机制和预测，希望最终能彻底改变患者的慢性病管理、临床试验、医疗逆转和药物开发。
首先，我们扩展了用于创建临床研究应用的 开源FDA MyStudies 平台，使任何人都可以更轻松地以可信且安全的方式开展自己的研究并收集优质数据。我们的改进包括零配置设置，以便研究人员可以在一天内制作研究原型，通过使用Flutter生成跨平台应用，最重要的是，强调可访问性，以便听到所有患者的声音。我们很高兴地宣布，这项工作现已作为原始 FDA-Mystudies 平台的扩展开源。您今天就可以开始设置自己的研究！
为了测试这个平台，我们开发了一款原型应用，我们称之为 MS Signals，它使用调查问卷在新颖的消费者环境中与患者互动。我们与国家多发性硬化症协会合作，为该应用招募了用户体验研究参与者，目标是降低退出率并进一步改进平台。
MS Signals 应用程序截图。 左图： 学习欢迎屏幕。 右图： 问卷调查。
一旦收集到数据，研究人员就可以利用这些数据推动 MS 领域 ML 研究的前沿发展。在另一项研究中，我们与杜克大学神经病学系建立了研究合作关系，并证明 ML 模型可以使用从移动应用程序连续收集的数据准确预测三个月内严重症状的发生率。结果表明，临床医生可以使用经过训练的模型来评估 MS 患者的症状轨迹，从而为实施干预措施提供决策依据。
CAIR 团队参与部署了许多其他系统，供内部和外部使用。例如，我们还与Learning Ally合作，为患有阅读障碍等学习障碍的儿童构建了图书推荐系统。我们希望我们的工作能够对未来的产品开发产生积极影响。
人工反馈
随着机器学习模型在发达国家变得无处不在，欠发达国家的声音很容易被忽略。CAIR 团队的首要任务是弥合这一差距，与社区建立深厚的关系，并通过社区驱动的方法共同解决与机器学习相关的问题。
我们这样做的方法之一是与机器学习的草根组织合作，例如Sisonkebiotik，这是一个开放包容的社区，由机器学习和医疗保健交叉领域的研究人员、从业人员和爱好者组成，共同努力建设能力并推动非洲的研究计划。我们与 Sisonkebiotik 社区合作，详细说明了历史上自上而下的方法对全球健康的局限性，并提出了互补的健康方法，特别是草根参与社区 (GPC) 的方法。我们共同创建了一个机器学习和全球健康框架，根据Masakhane、 Sisonkebiotik 和Ro'ya等各个 GPC 的共同价值观，制定了建立、发展和维护 GPC 的实用路线图。
我们正在参与开放式计划，通过人工反馈更好地了解非西方国家在医疗领域中人工智能的作用、看法和用例，最初的重点是非洲。我们与加纳 NLP合作，详细阐述了更好地了解非西方背景下医疗领域算法公平性和偏见的必要性。我们最近启动了一项研究，利用人工反馈来扩展这项工作。
机器学习管道中的偏见及其与非洲背景差异轴的关联。
CAIR 团队致力于创造机会，听取更多关于人工智能发展的观点。我们与 Sisonkebiotik 合作，在加纳举办了2023 年深度学习峰会的健康数据科学研讨会。每个人的声音对于利用人工智能技术创造更美好的未来都至关重要。
致谢
我们要感谢 Negar Rostamzadeh、Stephen Pfohl、Subhrajit Roy、Diana Mincu、Chintan Ghate、Mercy Asiedu、Emily Salkey、Alexander D'Amour、Jessica Schrouff、Chirag Nagpal、Eltayeb Ahmed、Lev Proleev、Natalie Harris、Mohammad Havaei、Ben Hutchinson、Andrew Smart、Awa Dieng、Mahima Pushkarna、Sanmi Koyejo、Kerrie Kauer、Do Hee Park、Lee Hartsell、Jennifer Graves、Berk Ustun、Hailey Joren、Timnit Gebru 和 Margaret Mitchell 的贡献和影响，以及 Learning Ally、National MS Society、Duke University Hospital、STANDING Together、Sisonkebiotik 和 Masakhane 的众多朋友和合作者。
评论