近年来，真无线立体声(TWS)主动降噪(ANC) 可听设备（耳机和耳塞） 市场一路飙升，2023 年全球出货量将几乎是智能腕带和手表的两倍。由于 ANC、透明模式和人工智能的最新进展，可听设备的佩戴时间大大延长。用户经常佩戴可听设备不仅是为了听音乐，还为了锻炼、集中注意力或只是调整心情。然而，可听健康对于消费市场来说仍然是一个未知领域。
在MobiCom 2023上展示的 “ APG：用于可听设备心脏监测的音频容积描记法”中，我们介绍了一种新颖的主动入耳式健康传感方式。音频容积描记法 (APG) 使 ANC 可听设备能够监测用户的生理信号，例如心率和心率变异性，而无需添加额外的传感器或缩短电池寿命。APG 对运动伪影具有很高的弹性，遵守安全法规，低于限值 80 dB，不受密封条件的影响，并且涵盖所有肤色。
APG 使用 ANC 耳机的扬声器发送低强度超声波发射波（TX 波），并通过板载反馈麦克风收集接收波（RX 波）。APG 信号是一种脉冲波形，与心跳同步，并显示丰富的心脏信息，例如重搏切迹。
耳道内的健康感知
耳道的血液供应来自耳深动脉，也称为深耳动脉。该动脉形成一个复杂的小血管网络，广泛分布于耳道中。心跳（和血压）引起的血管形状的轻微变化会导致耳道体积和压力的细微变化，使耳道成为健康感知的理想位置。
最近的研究探索了将耳戴式设备用于健康传感，将大量传感器（例如光电容积图(PPG) 和心电图(ECG)）与微控制器封装在一起，以实现睡眠监测、心率和血压跟踪等健康应用。然而，这种传感器安装模式不可避免地增加了耳戴式设备的成本、重量、功耗、声学设计复杂性和外形尺寸挑战，对其广泛采用构成了巨大障碍。
现有的 ANC 耳穿戴设备部署了反馈和前馈麦克风来实现 ANC 功能。这些麦克风为各种传感应用创造了新的机会，因为它们可以检测或记录耳道内外的许多生物信号。例如，反馈麦克风可用于监听心跳，而前馈麦克风可以监听呼吸。对这种被动传感范式的学术研究已经促成了许多移动应用的出现，包括心率监测、耳部疾病诊断、呼吸监测和身体活动识别。然而，消费级 ANC 耳机中的麦克风配有内置高通滤波器，以防止因身体运动或强风噪而导致的饱和。耳道中被动聆听的信号质量也严重依赖于耳塞的密封条件。因此，在商用 ANC 耳机上嵌入依赖于低频信号（≤ 50 Hz）被动聆听的健康功能是一项挑战。
测量微小的生理信号
APG 通过 ANC 耳机的扬声器发送低强度超声探测信号，绕过了上述 ANC 耳机硬件限制。该信号会触发回声，并通过板载反馈麦克风接收回声。我们观察到微小的耳道皮肤位移和心跳振动会调节这些超声回声。
我们建立了一个圆柱形共振模型来了解 APG 的底层物理原理。这种现象发生在极小的范围内，这使得原始脉冲信号在原始接收的超声波中不可见。我们采用相干检测来检索噪声基底下的这种微生理调制（我们将这种检索到的信号称为混频信号，有关更多详细信息，请参阅论文）。最终的 APG 波形看起来与 PPG 波形非常相似，但提供了更好的心脏活动视图，具有更明显的重搏切迹（即，压力波形可提供有关中央动脉系统的丰富见解，例如血压）。
具有心脏活动 ℎ(𝑡) 的圆柱形模型，可调制混合信号的相位和幅度。根据我们的分析模型的模拟，混合 APG 信号的幅度 𝑅(𝑡) 和相位 Φ(𝑡) 均反映心脏活动 ℎ(𝑡)。
APG 传感实际应用
在我们最初的实验中，我们观察到 APG 在耳机密封性不佳和播放音乐的情况下仍能稳定工作。然而，我们注意到 APG 信号有时会非常嘈杂，并且可能会受到身体运动的严重干扰。那时，我们决定，为了让 APG 有用，我们必须让它更强大，才能与80 多年的 PPG 开发相媲美。
尽管 PPG 被广泛使用且非常先进，但它们确实存在一些局限性。例如，PPG 传感器通常使用两到四个二极管来发送和接收用于感测的光频率。然而，由于光的超高频特性（数百太赫兹），单个二极管难以发送具有不同频率的多种颜色。另一方面，我们可以轻松设计一个低成本、低功耗的系统，该系统可生成和接收十多个音频音调（频率）。我们利用信道分集，这是一种物理现象，描述了不同频率的无线信号（例如光和音频）在介质中传播时具有不同的特性（例如不同的衰减和反射系数），以实现更高质量的 APG 信号和运动弹性。
接下来，我们通过实验证明了在 APG 信号中使用多个频率的有效性。我们同时传输三个探测信号，它们的频率均匀分布在 30 KHz 到 32 KHz 之间。实验期间，参与者被要求摇头四次以引入干扰。下图显示，可以同时传输不同的频率以通过相干检测收集各种信息，这是 APG 的独特优势。
30 kHz 相位显示四个头部运动，31 kHz 幅度（振幅）显示脉搏波信号。这一观察表明，某些超声波频率可能对心脏活动敏感，而其他超声波频率可能对运动敏感。因此，我们可以使用多音 APG 作为校准信号来找到测量心率的最佳频率，并仅使用最佳频率来获得高质量的脉搏波形。
定制多音调 APG 信号的混合幅度（上行）和相位（下行），范围从 30 kHz 到 32 kHz。通过通道分集，可以在某些频率（例如，幅度为 31 kHz）中捕获心脏活动，而在其他频率（例如，幅度为 30 kHz、30 kHz 和相位为 31 kHz）中捕获头部运动。
选择最佳频率测量心率后，APG脉搏波形变得更加清晰，重搏切迹明显，能够实现准确的心率变异性测量。
测量阶段使用的最终 APG 信号（左）和胸部ECG信号（右）。
多音意味着多个同时观测，这使得阵列信号处理技术的发展成为可能。我们展示了应用盲源分离之前和之后的跑步 APG 实验的频谱图（有关详细信息，请参阅论文）。我们还展示了使用Polar ECG 胸带在同一跑步实验中的真实心率测量结果。在原始 APG 中，我们可以看到跑步节奏（约 3.3 Hz）以及两条暗线（约 2 Hz 和 4 Hz），它们表示用户的心率频率及其谐波。盲源分离后，心率频率的信噪比(SNR) 显著增强，与真实心率频率一致。我们还展示了从 APG 和 ECG 计算出的心率和跑步节奏。我们可以看到 APG 准确地跟踪了跑步过程中心率的增长。
APG 可以在跑步过程中准确跟踪心率，并测量跑步节奏。
实地考察和总结
我们与 153 名参与者进行了两轮用户体验 (UX) 研究。结果表明，APG 可实现始终准确的心率（所有活动场景中参与者的中位误差为 3.21%）和心率变异性（心跳间隔中位误差为 2.70%）测量。与在不同肤色中表现出不同性能的 PPG 不同，我们的研究表明，APG 能够适应以下变化：肤色、次优密封条件和耳道大小。更详细的评估可以在论文中找到。
APG 只需简单的软件升级，即可将任何 TWS ANC 耳机转变为智能传感耳机，并在各种用户活动中都能稳定运行。传感载波信号完全听不见，不受音乐播放的影响。更重要的是，APG 代表了生物医学和移动研究领域的新知识，并为低成本健康传感开辟了新的可能性。
致谢
APG 是 Google Health、产品、UX 和法律团队合作的成果。我们要感谢 David Pearl、Jesper Ramsgaard、Cody Wortham、Octavio Ponce、Patrick Amihood、Sam Sheng、Michael Pate、Leonardo Kusumo、Simon Tong、Tim Gladwin、Russ Mirov、Kason Walker、Govind Kannan、Jayvon Timmons、Dennis Rauschmayer、Chiong Lai、Shwetak Patel、Jake Garrison、Anran Wang、Shiva Rajagopal、Shelten Yuen、Seobin Jung、Yun Liu、John Hernandez、Issac Galatzer-Levy、Isaiah Fischer-Brown、Jamie Rogers、Pramod Rudrapatna、Andrew Barakat、Jason Guss、Ethan Grabau、Pol Peiffer、Bill Park、Helen O'Connor、Mia Cheng、Keiichiro Yumiba、Felix Bors、Priyanka Jantre、Luzhou Xu、Jian Wang、Jaime Lien、Gerry Pallipuram、Nicholas Gillian、 Michal Matuszak、Jakub Wojciechowski、Bryan Allen、Jane Hilario 和 Phil Carmack 提供了宝贵的见解和支持。感谢外部合作者 Longfei Shangguan 和 Rich Howard（罗格斯大学和匹兹堡大学）。
评论