引入用于虚拟/混合现实的全新 Foveation 管道

lixia01

虚拟现实(VR) 和混合现实(MR) 提供了一种新颖的方式，让人们沉浸在从游戏到专业培训的全新而引人入胜的体验中。然而，当前的 VR/MR 技术提出了一个根本性的挑战：以沉浸感所需的极高分辨率呈现图像对渲染引擎和传输过程提出了巨大的要求。耳机的显示分辨率通常不足，这会限制视野，使体验变差。但是，为了驱动更高分辨率的耳机，传统的渲染管道需要强大的处理能力，即使是高端移动处理器也无法实现。随着研究继续提供有希望的新技术来提高显示分辨率，驱动这些显示器的挑战将继续增长。
为了进一步改善 VR 和 MR 中的视觉体验，我们引入了一种利用人类视觉感知特性的管道，以较低的计算和功耗成本实现令人惊叹的视觉体验。本文提出的管道考虑了完整的系统依赖性，包括渲染引擎、内存带宽和显示模块本身的功能。我们认为当前的限制不仅在于内容创建，还可能在于传输数据、处理延迟和实现与真实物体的交互（混合现实应用）。该管道包括：1. 注视点渲染，重点是减少每像素的计算量。2. 注视点图像处理，重点是减少视觉伪影；3. 注视点传输，重点是每像素传输的位数。
注视点渲染
在人类视觉系统中，中央凹使我们能够在视觉中心看到高保真图像，从而使我们的大脑减少对周边视觉中事物的关注。注视点渲染利用这一特性，通过降低周边视觉中物体的空间或位深度分辨率来提高渲染引擎的性能。为了实现这一点，需要通过眼动追踪更新高视度 (HA) 区域的位置，以与眼球扫视保持一致，从而保持整个视野范围内恒定高分辨率的感知。相比之下，没有眼动追踪的系统可能需要渲染更大的 HA 区域。
传统的注视点技术可能会将帧缓冲区划分为多个空间分辨率区域。当内容因头部运动或动画而发生运动时，通过渲染到较低空间分辨率而引入的混叠可能会导致可察觉的时间伪影。下面我们展示了一个由头部旋转引起的时间伪影的示例。
在以下章节中，我们将介绍两种旨在减少这些伪影的不同方法：相位对齐注视点渲染和共形注视点渲染。每种方法在渲染过程中都为视觉质量提供了不同的好处，并且在不同的条件下都有用。
相位对齐渲染
由于渲染内容的子采样，在注视点渲染期间，低视度 (LA) 区域会发生混叠。在上面讨论的传统注视点渲染中，这些混叠伪影会在帧与帧之间闪烁，因为随着用户移动头部，显示像素网格会在虚拟场景中移动。这些像素相对于场景的运动会导致任何现有的混叠伪影闪烁，这对用户来说也是非常明显的，即使在外围也是如此。
在相位对齐渲染中，我们强制 LA 区域视锥体与世界旋转对齐（例如始终面向北、东、南等），而不是当前帧的头部旋转。混叠伪影大多不受头部姿势影响，因此不易察觉。经过上采样后，这些区域会重新投影到最终显示屏上，以补偿用户的头部旋转，从而减少时间闪烁。与传统的注视点渲染一样，我们会在单独的通道中渲染高敏锐度区域，并将其叠加到合并图像的注视点位置。下图比较了传统的注视点渲染与相位对齐渲染，两者的注视点水平相同。
这种方法在很大程度上有利于降低注视点渲染过程中视觉伪影的严重程度。尽管在相同敏锐度降低水平下，相位对齐渲染的计算成本比传统注视点渲染更高，但我们仍然可以通过将注视点渲染推向更激进的水平（否则会产生太多伪影）来获得净节省。共形渲染另一种注视点渲染方法是根据屏幕与视觉注视点的距离的非线性映射，在与视觉敏锐度分辨率平滑变化的降低相匹配的空间中渲染内容。这种方法主要有两个好处。首先，通过更紧密地匹配人眼的视觉保真度下降，与其他注视点技术相比，我们可以减少计算的总像素数。其次，通过使用平滑的保真度下降，我们可以防止用户看到高敏锐度和低敏锐度之间的明显分界线，而这通常是最先注意到的伪影之一。这些优势允许在保持相同质量水平的同时使用激进的注视点，从而节省更多成本。我们通过将虚拟场景的顶点扭曲到非线性空间来执行此方法。然后以较低的分辨率对该场景进行光栅化，然后将其解扭曲到线性空间，作为后处理效果与镜头畸变校正相结合。
与上述相位对齐方法相比，该方法的主要优势在于共形渲染仅需要一次光栅化。对于具有大量顶点的场景，这种差异可以节省大量成本。此外，尽管相位对齐渲染减少了闪烁，但它仍然会在高敏锐度区域和低敏锐度区域之间产生明显的边界，而共形渲染不会显示这种伪影。但是，与相位对齐相比，共形渲染的一个缺点是混叠伪影仍然会在外围闪烁，这对于需要高视觉保真度的应用来说可能不太理想。注视点图像处理HMD 通常需要在渲染后执行图像处理步骤，例如局部色调映射、镜头失真校正或照明混合。使用注视点图像处理，可以对不同的注视点区域应用不同的操作。例如，镜头失真校正（包括色差校正）可能不需要显示器每个部分都具有相同的空间精度。通过在升级之前对注视点内容运行镜头失真校正，可以节省大量计算量。该技术不会引入可察觉的伪影。
迈向新管道
我们重点关注了 MR 和 VR 应用的“注视点管道”的几个组件。通过考虑注视点对显示系统每个部分（渲染、处理和传输）的影响，我们可以实现下一代轻量级、低功耗和高分辨率的 MR/VR HMD。多年来，这个主题一直是一个活跃的研究领域，未来几年内，带有注视点管道的 VR 和 MR 头戴式设备似乎将会出现。
致谢
我们想感谢以下合作者所做的工作：
蒋浩淼和 Carlin Vieri 讨论显示压缩和注视点传输
Brian Funt 和 Sylvain Vignaud 探讨新型注视点渲染算法的开发