手机的普及使得非营利组织能够及时向其受益人提供重要的健康信息。虽然智能手机上的高级应用程序可以提供更丰富的多媒体内容，并实现受益人和健康教练之间的双向沟通，但更简单的文本和语音消息服务可以有效地向大型社区传播信息，特别是那些信息和智能手机获取有限的服务不足的社区。ARMMAN 1是一家从事此类工作的非营利组织，总部位于印度，其使命是改善服务不足社区的母婴健康状况。
ARMMAN 概述
他们开展的项目之一是mMitra，该项目采用自动语音信息向怀孕期间和产后一年的准妈妈和新妈妈提供及时的预防保健信息。这些信息根据受益人的妊娠周龄量身定制。研究表明，定期收听这些信息与行为和健康状况的改善高度相关，例如年底出生体重增加三倍的婴儿数量增加了 17%，知道服用铁片重要性的妇女数量增加了 36%。
然而，ARMMAN 面临的一个关键挑战是，大约 40% 的女性逐渐停止参与该计划。虽然可以通过向女性提供现场服务电话来解释收听信息的好处来缓解这一问题，但由于支持人员有限，不可能给该计划中所有低收听率的人打电话——这凸显了有效确定谁接听此类服务电话的重要性。
在AAAI 2022上发表的 “部署多臂老虎机的实地研究：协助非营利组织改善母婴健康”中，我们描述了一种基于 ML 的解决方案，该解决方案使用来自非政府组织的历史数据来预测哪些受益者将从服务呼叫中受益最多。我们解决了在现实世界中大规模部署此类系统所带来的挑战，并在一项涉及 23,000 多名参与者的真实研究中展示了部署此模型的实用性。与目前的护理标准组相比，该模型显示听众人数增加了 30%。
背景
我们使用多臂老虎机(RMAB) 来建模此资源优化问题，这种老虎机已得到充分研究，可应用于医疗保健等众多领域的此类问题。RMAB 由n 个臂组成，每个臂（代表受益人）与一个两状态马尔可夫决策过程(MDP) 相关联。每个 MDP 都被建模为一个两状态（好或坏状态，其中好状态对应于前一周的高收听率）、两个动作（对应于受益人是否被选中接听服务电话）问题。此外，每个 MDP 都有一个关联的奖励函数（即在给定状态和动作下累积的奖励）和一个转移函数，该转移函数表示在给定动作下从一个状态移动到下一个状态的概率，在马尔可夫条件下，下一个状态仅取决于前一个状态和在该时间步长上对该臂采取的动作。术语“多臂老虎机”表示所有臂都可以改变状态，而不管动作如何。
受益人的状态可能从好（参与度高）转变为坏（参与度低），转换矩阵中显示了被动和主动转换概率的示例。
模型开发
最后，RMAB 问题被建模为在任何时间步骤中，给定总共n个臂，应该对哪k 个臂采取行动（即选择接收服务呼叫），以最大化奖励（与程序的参与度）。
因此，在接到服务电话的情况下（主动概率）或不接到服务电话的情况下（被动概率）从一种状态转换到另一种状态的概率是解决上述优化问题的关键基础模型参数。为了估算这些参数，我们使用非政府组织在登记时收集的受益人人口统计数据，例如年龄、收入、教育程度、子女数量等，以及过去的听众数据，所有这些都符合非政府组织的数据隐私标准（详见下文）。
然而，服务呼叫量有限限制了与接听服务呼叫相对应的数据。为了缓解这种情况，我们使用聚类技术从集群内受益人的集体观察中学习，并克服每个受益人样本有限的挑战。
具体来说，我们对听众行为进行聚类，然后计算从人口统计特征到每个聚类的映射。
根据过去的听众数据进行聚类，可以发现受益者行为相似的聚类。然后，我们推断出从人口统计特征到聚类的映射。
这种映射非常有用，因为当有新的受益人加入时，我们只能访问他们的人口统计信息，而无法了解他们的收听模式，因为他们还没有机会收听。使用映射，我们可以推断出任何加入系统的新受益人的转移概率。
我们使用了几种定性和定量指标来推断最佳聚类集，并探索了不同的训练数据组合（仅人口统计特征、特征加被动概率、特征加所有概率、仅被动概率）以获得最有意义的聚类，这些聚类代表了底层数据分布，并且各个聚类大小的差异很小。
使用真实被动转移概率（蓝点）比较从不同聚类方法获得的被动转移概率，其中聚类数为s = 20（红点）和 40（绿点）。基于特征+被动概率（PPF）的聚类可以捕捉概率空间中更独特的受益者行为。
聚类还有一个额外的优势，那就是可以降低资源有限的非政府组织的计算成本，因为优化需要在集群级别而不是个人级别进行解决。最后，众所周知，解决 RMAB 是P 空间难题，因此我们选择使用流行的Whittle 指数方法来解决优化问题，该方法最终根据受益者接听服务电话的可能好处提供排名。
结果
我们在一项现实世界研究中评估了该模型，该研究包括大约 23,000 名受益人，他们被分为三组：当前标准护理 (CSOC) 组、“循环” (RR) 组和 RMAB 组。CSOC 组中的受益人遵循原始护理标准，其中没有 NGO 发起的服务呼叫。RR 组代表 NGO 经常使用一些系统的设定顺序进行服务呼叫的场景——这里的想法是制定一项易于执行的政策，该政策为足够多的受益人提供服务，并且可以根据可用资源每周扩大或缩小规模（这是 NGO 在这种特定情况下使用的方法，但不同的 NGO 的方法可能有所不同）。RMAB 组按照 RMAB 模型的预测接收服务呼叫。三个组中的所有受益人继续接收与服务呼叫无关的自动语音消息。
第 1 周（左）和第 2 周（右）中 RMAB 和 RR 为服务呼叫挑选的集群分布明显不同。RMAB 非常有策略性地挑选少数成功概率较高的集群（蓝色代表高，红色代表低），而 RR 则没有表现出这样的策略性选择。
七周后，与 CSOC 组相比，基于 RMAB 的服务呼叫导致累计参与度下降 (32%) 减少幅度最大（且具有统计意义）。
该图显示，与对照组相比，参与度累计下降的情况有所避免。
RMAB 与 CSOC RR 与 CSOC RMAB 与 RR
累计参与度下降百分比 32.0％ 5.2％ 28.3%
p 值 0.044 0.740 0.098
伦理考量
非政府组织的伦理委员会审查了这项研究。我们采取了重大措施，确保在项目的每个阶段，参与者的同意都能以社区选择的语言理解和记录。数据管理权掌握在非政府组织手中，只有非政府组织才被允许共享数据。代码将很快向公众开放。管道仅使用匿名数据，不会向模型提供任何个人身份信息 (PII)。ARMMAN 不会为 mMitra 收集敏感数据，例如种姓、宗教等。因此，为了确保模型的公平性，我们与公共卫生和领域专家合作，确保社会经济地位的其他指标得到衡量和充分评估，如下所示。
与整个人口相比，接收服务电话的群体中受过最高教育的人数（顶部）和每月家庭收入（以印度卢比计算）（底部）的分布情况。
每个收入等级中接到实时服务电话的受益人比例与总人口比例相当。然而，在低收入类别中观察到了差异，RMAB 模型更倾向于低收入受益人和未受过正规教育的受益人。最后，ARMMAN 的领域专家深入参与了该系统的开发和测试，并在数据解释、数据使用和模型设计方面提供了持续的投入和监督。
结论
经过全面测试后，该非政府组织目前已部署该系统，每周安排服务电话。我们希望这将为与非营利组织合作部署更多具有社会影响的机器学习算法铺平道路，为迄今为止从机器学习中获益较少的人群提供服务。这项工作也在2021 年 Google for India中得到展示。
致谢
这项工作是我们AI for Social Good工作的一部分，由 Google Research 印度分部牵头。感谢 ARMMAN、Google Research India、Google.org 和 University Relations 的所有合作者：Aparna Hegde、Neha Madhiwalla、Suresh Chaudhary、Aditya Mate、Lovish Madaan、Shresth Verma、Gargi Singh、Divy Thakkar。
评论