今年早些时候，我们在 Nest Hub 中推出了非接触式睡眠感应功能，这是一项可选功能，可以帮助用户更好地了解他们的睡眠模式和夜间健康状况。虽然一些最关键的睡眠见解可以从一个人的整体作息时间和睡眠时长中得出，但仅凭这一点并不能说明全部情况。人类大脑有特殊的神经回路来协调睡眠周期——深度、浅度和快速眼动 (REM)睡眠阶段之间的过渡——这不仅对身体和情绪健康至关重要，而且对最佳身体和认知表现也至关重要。将此类睡眠分期信息与干扰事件相结合可以帮助您更好地了解睡眠时发生的事情。
今天，我们宣布了睡眠感知功能的增强功能，可提供更深入的睡眠洞察。虽然这些增强功能并非用于医疗目的1，但它们可以通过睡眠阶段以及将用户的咳嗽和打鼾与房间中的其他声音区分开来更好地了解睡眠。这里我们描述了我们如何开发这些新技术，通过迁移学习技术来估计睡眠阶段，并通过雷达和麦克风信号的传感器融合来消除睡眠障碍的来源。
为了帮助人们了解自己的睡眠模式，Nest Hub 会显示睡眠图，绘制用户在睡眠过程中的睡眠阶段。睡眠期间的潜在声音干扰现在将在时间轴中包含“其他声音”，以将用户的咳嗽和打鼾声与从校准睡眠区外的房间中检测到的其他声音干扰区分开来。
训练和评估睡眠分期分类模型
大多数人每晚会经历4-6 次睡眠阶段，大约每 80-120 分钟一次，有时在睡眠周期之间会有短暂的觉醒。认识到用户了解睡眠阶段的价值，我们使用Soli扩展了 Nest Hub 的睡眠-觉醒算法，以区分浅睡眠、深睡眠和 REM 睡眠。我们采用了一种与 Nest Hub原始睡眠检测算法大致相似的设计：原始雷达样本的滑动窗口经过处理以生成频谱图特征，这些特征会不断输入到Tensorflow Lite模型中。关键区别在于，这个新模型经过训练以预测睡眠阶段，而不是简单的睡眠-觉醒状态，因此需要新数据和更复杂的训练过程。
为了构建一个丰富多样的数据集，以用于训练高性能 ML 模型，我们利用现有的非雷达数据集并应用迁移学习技术来训练模型。识别睡眠阶段的黄金标准是多导睡眠图(PSG)，它使用一系列可穿戴传感器来监测睡眠期间的一系列身体功能，例如大脑活动、心跳、呼吸、眼球运动和动作。然后，经过培训的睡眠技术人员可以解读这些信号以确定睡眠阶段。
为了开发我们的模型，我们使用了来自睡眠心脏健康研究(SHHS) 和多民族动脉粥样硬化研究(MESA) 的公开数据，这些研究包含超过 10,000 个原始 PSG 传感器数据以及相应的睡眠分期真实值标签，这些数据均来自国家睡眠研究资源中心。这些 PSG 数据集中的胸腔呼吸电感体积描记法(RIP) 传感器数据是通过佩戴在患者胸部的带子收集的，以测量呼吸引起的运动。虽然这是一种与雷达截然不同的感应方式，但 RIP 和雷达都提供可用于表征参与者呼吸和运动的信号。这两个领域之间的相似性使得利用基于体积描记法的模型并使其适应雷达成为可能。
为此，我们首先从 RIP 时间序列信号中计算频谱图，并利用这些频谱图作为特征来训练卷积神经网络(CNN)，以预测真实的睡眠阶段。该模型成功学会了识别 RIP 信号中的呼吸和运动模式，可用于区分不同的睡眠阶段。这向我们表明，使用基于雷达的信号也应该可以实现同样的效果。
为了测试此模型的通用性，我们替换了 Nest Hub 的 Soli 传感器计算出的类似频谱图特征，并评估了该模型对不同传感模式的推广能力。正如预期的那样，当使用雷达传感器数据时，训练模型预测睡眠阶段的准确率要低得多。然而，该模型的表现仍然比偶然情况好得多，这表明它已经学习了与这两个领域相关的特征。
为了改进这一点，我们收集了一个较小的雷达传感器数据二级数据集，其中包含相应的基于 PSG 的地面实况标签，然后使用该数据集的一部分来微调初始模型的权重。这些较少的额外训练数据使模型能够调整从基于体积描记法的睡眠分期中学习到的原始特征，并成功地将它们推广到我们的领域。当对一组未见过的新雷达数据测试集进行评估时，我们发现经过微调的模型产生的睡眠分期结果与其他消费者睡眠追踪器相当。
自定义 ML 模型可有效处理连续的 3D 雷达张量流（如图顶部的频谱图所示），以自动计算每个睡眠阶段（REM、浅度和深度）的概率，或检测用户是否清醒或不安。
通过音频源分离实现更智能的音频感知
基于 Soli 的睡眠跟踪为用户提供了一种方便可靠的方法来查看他们的睡眠时间以及何时发生睡眠中断。但是，为了了解和改善睡眠，用户还需要了解睡眠中断的原因。我们之前讨论过Nest Hub 如何帮助监测咳嗽和打鼾，这两种睡眠中断的常见原因人们往往没有意识到。为了更深入地了解这些干扰，了解检测到的打鼾和咳嗽是否是您自己的原因非常重要。
Nest Hub 上的原始算法使用基于 CNN 的设备内置检测器来处理 Nest Hub 的麦克风信号并检测咳嗽或打鼾事件，但这种纯音频方法并未尝试区分声音的来源。通过将音频感应与基于 Soli 的运动和呼吸提示相结合，我们更新了算法，将睡眠干扰与用户指定的睡眠区域和房间内的其他来源区分开来。例如，当主要用户打鼾时，音频信号中的打鼾将与 Nest Hub 的雷达传感器检测到的吸气和呼气紧密对应。相反，当在校准的睡眠区域外检测到打鼾时，两个信号将独立变化。当 Nest Hub 检测到咳嗽或打鼾但确定音频和运动特征之间相关性不足时，它会将这些事件从用户的咳嗽或打鼾时间线中排除，而是在 Nest Hub 的显示屏上将它们标记为“其他声音”。更新后的模型继续使用完全内置于设备的音频处理和隐私保护分析，不会将原始音频数据发送到 Google 的服务器。然后，用户可以选择将处理的输出（声音发生次数，例如咳嗽次数和打鼾时间）保存在 Google Fit 中，以便查看他们夜间的健康状况。
与用户呼吸模式同步的打鼾声（左）将显示在用户的 Nest Hub 的打鼾时间线中。与用户呼吸模式不一致的打鼾声（右）将显示在 Nest Hub 的“其他声音”时间线中。
自Nest Hub 睡眠感应功能推出以来，研究人员已表示有兴趣使用 Nest Hub 夜间咳嗽数字量化技术开展研究。例如，囊性纤维化基金会2支持的一项小型可行性研究目前正在进行中，旨在评估使用 Nest Hub 测量夜间咳嗽的可行性，该研究适用于囊性纤维化 (CF) 儿童家庭，这是一种罕见的遗传性疾病，可因肺部粘液导致慢性咳嗽。研究人员正在探索夜间咳嗽量化是否可以作为监测治疗反应的替代方法。
结论
基于隐私保护雷达和音频信号，Nest Hub 上改进的睡眠分期和音频感应功能提供了更深入的洞察，我们希望这些洞察能够帮助用户将他们的夜间健康状况转化为可操作的整体健康改善。
致谢
这项工作涉及由软件工程师、研究人员、临床医生和跨职能贡献者组成的多学科团队的协作努力。特别感谢睡眠神经学家 Logan Schneider 博士，他的临床专业知识和贡献对持续指导这项研究至关重要。除了作者之外，这项研究的主要贡献者还包括 Anupam Pathak、Jeffrey Yu、Arno Charton、Jian Cui、Sinan Hersek、Jonathan Hsu、Andi Janti、Linda Lei、Shao-Po Ma、Jo Schaeffer、Neil Smith、Siddhant Swaroop、Bhavana Koka、Jim Taylor 博士和扩展团队。感谢 Mark Malhotra 和 Shwetak Patel 的持续领导，以及与我们合作在 Nest Hub 上构建和验证睡眠感知增强功能的 Nest、Fit 和 Assistant 团队。
评论