扩展可穿戴基础模型

lixia01

受到生成模型中经验成功的启发，大型神经网络从非结构化和噪声数据中学习强大的表示，我们展示了该模型对消费者健康数据的扩展特性，强调了这些模型如何为运动和活动识别等任务实现样本高效的下游学习。
测量生理和行为信号的可穿戴设备已变得司空见惯。越来越多的证据表明，这些设备可以对促进健康行为、检测疾病以及改善治疗设计和实施产生重大影响。这些设备会生成大量连续、纵向和多模态数据。然而，消费者和专家很难解读皮肤电活动或加速度计值等信号的原始数据。为了应对这一挑战，已经开发出算法来将传感器输出转换为更有意义的表示。
从历史上看，可穿戴传感器的算法依赖于监督式判别模型（即通常用于分类的一类模型），旨在检测特定事件或活动（例如，识别用户是否正在跑步）。然而，这种方法面临几个重大限制。首先，标记事件的数量有限且类别严重不平衡，这意味着有大量潜在有价值的未标记数据未被利用。其次，监督式模型仅被训练来执行一项任务（例如，分类），因此创建的表示可能无法推广到其他任务。第三，训练数据的异质性可能有限，因为数据通常是从小型研究人群（通常为数十或数百名参与者）中收集的。
使用通用借口任务（例如，重新排列图像块，类似于解决拼图游戏或填充图像的缺失部分）的自监督学习(SSL) 可以产生可用于多种下游应用的多功能表示。SSL 可用于利用更大比例的可用数据，而不会偏向标记数据区域（例如，具有自报运动片段标签的有限数量的受试者）。这些优势激发了人们努力应用类似的训练策略来创建具有来自可穿戴设备的大量未标记数据的模型。
在此基础上，神经模型中缩放定律的经验和理论成功表明，随着数据、计算和参数的增加，模型性能可预测地提高。这些结果引发了一个关键问题：缩放定律是否适用于在可穿戴传感器数据上训练的模型？这个问题的答案并不明显，因为传感器输入捕获的信息与语言、视频或音频完全不同。了解缩放在这个领域如何体现不仅可以塑造模型设计，还可以增强跨不同任务和数据集的泛化能力。
在“扩展可穿戴基础模型”中，我们研究了推动文本和图像数据等领域的神经网络扩展的原理是否也适用于大规模、多模态可穿戴传感器数据。我们展示了迄今为止发布的最大可穿戴数据集上的扩展实验结果，该数据集包含来自 165,000 名用户的超过 4000 万小时的去识别多模态传感器数据。我们利用该数据集来训练基础模型，我们将其称为大型传感器模型 (LSM)。我们展示了此数据集和模型在数据、计算和模型参数方面的扩展属性，与传统插补方法相比，性能提升高达 38%。
训练模型
我们从 2023 年 1 月至 2024 年 7 月期间的 165,090 名参与者中抽样获取了可穿戴设备数据。受试者佩戴 Fitbit Sense 2 或 Google Pixel Watch 2 设备，并同意将他们的数据用于新健康和保健产品和服务的研究和开发。我们从佩戴这些设备的人群中进行细分，以确保我们拥有尽可能多的信号。受试者被要求自报性别、年龄、体重和他们居住的美国州。数据已去身份化，不与任何其他信息相关联。为了创建一个最大化受试者数量的数据集，我们从每个受试者中随机抽取了 10 个 5 小时的数据窗口。
为了训练 LSM，我们采用了一种掩蔽方法，即故意随机隐藏或“掩蔽”可穿戴数据的某些部分，然后模型学习重建或估算（填充或完成）这些缺失的补丁。如下图所示，这种技术鼓励模型了解数据中的潜在模式，从而增强其解释不同传感器类型信号的能力。目的是在可穿戴传感器模型的训练中应用这种掩蔽任务不仅可以产生对下游分类任务有用的学习表示，还可以生成可以估算缺失或不完整数据（即插值能力）和预测未来传感器值（即推断能力）的模型。
活动识别是根据传感器数据中检测到的模式对不同的用户活动（例如骑自行车、跑步或步行）进行分类的过程。这使可穿戴设备能够准确监控日常活动，从而深入了解健身水平、活动趋势和整体健康状况。有效的活动识别可实现健身追踪、生活方式监控和个性化指导等应用。除了识别的活动之外，我们的数据集还包括八项用户标记的活动：骑自行车、椭圆机、高强度间歇训练 (HIIT)、力量训练、游泳、跑步、步行和举重。
可穿戴数据缩放定律的结果
考虑到数据集的规模，我们进行了实验，以帮助证明大型模型所需的额外资源是否能带来有意义的好处。我们首先重点描述随着计算、数据和模型大小（参数数量）的扩展，模型性能如何提高。
我们的结果表明，在多个数量级的计算中，性能与计算呈亚线性关系。然后，在计算能力的高端，我们观察到一个平台期，在这个平台上添加更多资源并不能继续减少错误。在扩展语言模型和视觉转换器时也观察到了这种行为。
下面我们展示了不同模型大小的数据扩展情况。性能单调提高到大约 10 5小时的数据（中间图表），超过这个时间，改进速度就会降低，特别是在 10 7小时左右。较大的模型，尤其是 ViT-110M，继续受益于数据扩展，在使用超过 100 万小时的数据进行训练时显示出显着的收益（也显示在下方）。这些观察结果强调了充分利用较大模型容量所需的大量数据要求，这些要求远远大于较小模型所需的数据要求。在判别任务中也观察到了类似的趋势。
接下来，我们将评估这些预训练模型是否对有用的下游分类任务有益。两个有用的任务是检测一个人是否在进行体育锻炼以及对他们正在从事的活动进行分类。理想情况下，我们希望能够使用相对较少的标记示例来构建这些模型，我们称之为标签效率。
我们对活动的少样本学习实验表明，可穿戴基础模型仅使用极少量的标记示例即可有效学习。在所有样本数量中，LSM 的性能始终优于监督基线。即使在低数据量（5 样本和 10 样本）下，LSM 也表现出令人鼓舞的结果，与从头开始训练的模型（基线）或有限监督（线性探测）相比，其准确率明显更高，如下图所示。随着标记示例数量的增加，性能差距不断扩大，LSM 利用预训练更有效地将学习到的表征转移到下游任务。
此外，我们的研究结果表明，在总时长保持不变的情况下，增加可穿戴设备信号总时长对模型性能的影响比单纯增加受试者数量更大。这可能是因为捕捉每个受试者的更多活动（通过增加每个受试者的时长）起着至关重要的作用。然而，为了最大限度地提高模型的泛化能力，同时扩大受试者数量和每个受试者的时长是理想的，因为这种方法将受试者内部的变异性与受试者之间的多样性结合起来。这些因素共同帮助模型学习更丰富的表示并提高不同任务的性能。
结论
我们的研究通过对来自 165,000 名用户的 4000 万小时的空前数据集进行训练，为扩展可穿戴传感器模型奠定了基础。这项工作表明，扩展数据、模型大小和计算能力可以显著提高插补、插值和外推等任务以及判别任务的水平。
展望未来，我们计划探索利用多样化数据集和定制预训练技术进一步扩展的其他策略，以解决可穿戴传感器数据的独特挑战，最终为个人健康技术的更广阔前景做出贡献。
致谢
本文所述研究是 Google Research、Google Health、Google DeepMind 和合作团队的联合工作。以下研究人员为本研究做出了贡献：Girish Narayanswamy、Xin Liu、Kumar Ayush、Yuzhe Yang、Xuhai Xu、Shun Liao、Jake Garrison、Shyam Tailor、Jake Sunshine、Yun Liu、Tim Althoff、Shrikanth Narayanan、Pushmeet Kohli、Jiening Zhan、Mark Malhotra、Shwetak Patel、Samy Abdel-Ghaffar、Daniel McDuff。我们还要感谢为本研究贡献数据的参与者。