随着消费电子产品和联网设备越来越普遍，家庭开始采用各种类型的联网设备，这些设备提供音乐控制、语音助手和家庭自动化等功能。设备的优雅集成需要适应现有的美学和用户风格，而不是简单地添加屏幕，因为屏幕很容易破坏视觉空间，尤其是当它们在断电或不主动使用时变成单片表面或黑屏时。因此，人们越来越希望创建联网的环境计算设备和设备，这些设备和设备可以保留日常材料的美感，同时提供对交互和数字显示的按需访问。
说明隐藏界面如何在日常表面（例如镜子或家用电器的木质镶板）中出现和消失。
在ACM CHI 2022上发表的 “环境计算的隐藏界面：通过低成本矩阵显示器上的高亮度视觉效果实现日常材料中的交互”中，我们描述了一种旨在嵌入材料下方的界面技术，以及我们对这种技术如何与日常材料和美学共存的愿景。这项技术可以使高亮度、低成本的显示器从纺织品、木质贴面、丙烯酸或单向镜等材料下方出现，以实现按需触摸交互。
要了解其工作原理，您可以观看有关隐藏接口项目的视频。
隐藏的界面原型展示了日常材料下明亮而富有表现力的渲染效果。从左到右：纺织品下的恒温器、木质饰面下的可扩展时钟、镜面下的来电显示和缩放倒计时。
并行渲染：提升 PMOLED 亮度以适应环境计算
虽然当今许多消费设备都采用有源矩阵有机发光二极管(AMOLED) 显示屏，但其成本和制造复杂性对于环境计算而言过高。然而，其他显示技术（例如E-ink和LCD）的亮度不足以穿透材料。
为了弥补这一差距，我们探索了无源矩阵 OLED (PMOLED) 的潜力，这种技术基于简单的设计，可以显著降低成本和复杂性。然而，PMOLED 通常使用扫描线渲染，其中有源显示驱动器电路按顺序一次激活一行，这一过程会限制显示亮度并导致闪烁。
相反，我们提出了一种使用并行渲染的系统，通过对水平和垂直线的直线形状进行分组，在每次操作中同时激活尽可能多的行。例如，只需两次操作即可显示正方形，而传统的扫描线渲染则需要与行数相同的操作。通过更少的操作，并行渲染可以在每次瞬间输出更多光线，以提高亮度并消除闪烁。该技术并不严格限于线条和矩形，即使它们是我们看到性能提升最显著的地方。例如，可以添加额外的渲染步骤来对非直线内容进行抗锯齿（即平滑）。
未填充矩形的扫描线渲染（顶部）和并行渲染（底部）操作的图示。并行渲染通过同时激活多行来实现明亮、无闪烁的图形。
渲染用户界面和文本
我们展示了隐藏界面可用于创建动态且富有表现力的交互。通过一组基本 UI 元素（例如按钮、开关、滑块和光标），每个界面都可以提供不同的基本控件，例如灯开关、音量控件和恒温器。我们创建了一种可扩展的字体（即一组数字和字母），旨在通过几个操作实现高效渲染。虽然我们目前排除了带有对角线的字母“k、z、x”，但它们可以通过其他操作得到支持。字体属性的每帧控制与显示器的高帧速率相结合，可实现非常流畅的动画 - 此功能极大地扩展了直线图形的表现力，远远超出了固定 7 段 LED 显示器的能力。
在这项工作中，我们演示了各种示例，例如可扩展时钟、来电显示、缩放倒计时器和音乐可视化器。
利用交互式硬件实现隐藏界面
为了实现概念验证隐藏接口，我们使用分辨率为 128×96 的 PMOLED 显示屏，所有行和列驱动器都路由到连接器以供直接访问。我们使用带有 14 个 16 通道数模转换器 (DAC) 的定制印刷电路板 ( PCB ) 直接连接来自 Raspberry Pi 3 A+ 的 224 条线路。触摸交互由环绕显示屏的环形 PCB 实现，其中有 12 个电极以弧形段排列。
与现有技术的比较
我们将并行渲染的亮度与同一台 PMOLED 上的扫描线以及小型和大型先进 AMOLED 进行了比较。我们通过六种常见材料（例如木材和塑料）测试了亮度。材料厚度范围从单向镜膜的 0.2 毫米到椴木的 1.6 毫米。我们使用显示器附近的测光仪测量了以勒克斯(lx = 人眼感知的光强度)为单位的亮度。环境光保持昏暗，略高于测光仪的最低灵敏度。对于简单的矩形，我们观察到 PMOLED 的亮度比 AMOLED 提高了 5-40 倍。例外是厚椴木，对于任何渲染技术来说，它都不会让太多光线通过。
示例展示了 PMOLED（本作品）和类似尺寸的现代 1.4 英寸 AMOLED 上的并行渲染之间的性能差异。
为了用更真实、更复杂的内容验证我们技术特性的结果，我们评估了数字“2”、复选框网格、三个进度条和文本“Good Life”。对于这种更复杂的内容，我们观察到亮度提高了 3.6-9.3 倍。这些结果表明，我们在 PMOLED 上并行渲染的方法能够通过多种材料进行显示，并且优于常见的先进 AMOLED 显示器，而后者似乎不适用于测试场景。
对需要不同操作数 (ops) 的其他形状进行亮度实验。测量结果与大型先进 AMOLED 显示屏进行了比较。
下一步是什么？
在这项工作中，我们启用了可嵌入传统材料并按需显示的隐藏界面。我们的实验室评估表明，在传统材料（尤其是木材和镜子）中引入简单但富有表现力、动态且具有交互性的 UI 元素和文本的隐藏显示，以融入人们的家中，这是尚未发现的机会。
未来，我们希望研究更先进的并行渲染技术，使用能够支持图像和复杂矢量图形的算法。此外，我们还计划探索高效的硬件设计。例如，专用集成电路(ASIC) 可以实现具有并行渲染功能的廉价小型显示控制器，而不是大量的 DAC 阵列。最后，纵向部署将使我们能够更深入地了解用户对隐藏界面的采用和行为。
隐藏界面展示了智能设备和家电的控制和反馈界面如何在不使用时在视觉上消失，然后在用户接近或触摸时出现。我们希望这个方向能够鼓励社区考虑其他方法和场景，让技术逐渐淡出背景，与传统材料和人类环境更加和谐地共存。
致谢
首先，我们要感谢 Ali Rahimi 和 Roman Lewkow 的合作，包括提供支持技术。我们还感谢 Olivier Bau、Aaron Soloway、Mayur Panchal 和 Sukhraj Hothi 在原型设计和制造方面的贡献。我们感谢 Michelle Chang 和 Mark Zarich 提供的视觉设计、插图和演示支持。我们感谢 Google ATAP 和 Google Interaction Lab 对该项目的支持。最后，我们感谢 Sarah Sterman 和 Mathieu Le Goc 提供的有益讨论和建议。
评论