眼球焦点上的虚拟现实 光场才是未来

🤖 由 文心大模型 生成的文章摘要

尽管虚拟现实(VR)产业发展越来越强大,但仍然有一些关键的问题会阻碍开发出真正成功的VR体验。

我们的眼球构造复杂而且工作非常精准,以确保我们看到的图像是经过清晰准确处理的。眼球的工作原理类似于一个放大镜,通过角膜和晶状体把光线聚焦然后投射到视网膜上。图像对准焦点的时候,单个像素的所有光线路径都传播到视网膜的一个点上,让我们能清楚地看到对象。然而,如果图像没在焦点上,同一像素传播到眼球的不同部位,从而导致图像变得模糊不清。


对准眼球焦点的光线路径


偏离眼球焦点的光线路径

这是目前移动VR系统中存在的一个特定问题,因为你看到的图像离眼球的距离都是固定的,即在你的智能手机屏幕上仅有几厘米远。即使每只眼球看到了差异并告诉我们图像的深度不一样,但是图像仍然保持不变的焦点深度。立体图像(聚散度)和明显的焦点深度(调节)之间的深度冲突让我们的大脑很难去调整。从而可能会导致视觉不适,头痛和恶心。

对虚拟现实的影响

为VR创作的最简单的视频内容类型是单像,用的是相当于一个360度相机的设备。实际上这种单一的图像很可能是运用多个摄像头把整个视场覆盖,然后回头把单独的图像缝合在一起。这种是制作360度视频最实惠和最简单的方式,但并未提供任何重要的深度信息。一种更复杂但按理说也是更好的方式就是运用立体视频,这种视频为双眼分别拍摄一个360度图像,带来了立体图像中的深度感知。这种方式更难掌握,因为准确地为每只眼球缝合图像很复杂。捕捉足够的信息,重现焦点深度和立体图像也同样复杂,但是技术每天都在进步。

可以说,目前解决这个问题最成功的方式就是有效利用光场显示器。“光场”是我们用来描述所有光线在一个空间区域内传播的词汇。理解光场显示器的一个简便的方法就是想象一个会根据你观看的方位不同,为你展示不同图像的常规显示器。虽然可能不是很明显,但光场显示器让我们去展示有着不同焦点深度的图像。与距离观看者较近的对象相比,距离较远的同一对象可能会在显示器上产生一个显著不同的光场。这就需要眼球调整焦距把对象看清,消除焦点深度和立体深度之间混淆大脑的矛盾。

微透镜阵列

创作一个能改善VR聚焦问题的光场显示器的一种方式就是使用微透镜阵列,它是有着很多微小突起透镜包裹的透明薄片。

微透镜阵列

每个微透镜覆盖着常规显示器上的一小部分像素。它们开始成为可佩戴式技术,比如智能手表以及根据观看方式不同发生改变的图像,有点像你在快餐盒上看到的扁豆状图像的高级版本。然而,这种微透镜方式违背了高分辨率,因为它有效地把多个像素转化成一个。

微透镜显示器

据报道,由于太过复杂微透镜阵列目前还制造不出来,所以我们还得考虑另一个替代方案。

光场立体镜

利用立体视效技术的深度优势,目前正在研究多层显示器,把多个显示器面板中间用细微的间隙分成多层。眼球从不同的焦距看到每块面板,因此只要认真地制作呈现在每层上的内容,显示器就能根据一个适合的深度成像。在SIGGARPH 2015上,斯坦福大学的Huang 等人展示了“光场立体镜”,其中LCD面板是背光的,而且中间有一定空隙一块接一块放置在VR头显中。它让我们在后屏幕上映射背景或远处的图像,而前屏幕呈现你所观看场景的前景图像。这个范围中间的距离可以通过显示每部分的图像描绘出来。这种接近的光场在显示器上增加了一些焦点深度,而前景中的对象进一步遮挡住了这些。两个2D显示器的交互与真正的4D光场是不同的,但应该也足够了。然而,因为没有一个相同分辨率的折中方案来取代微透镜方案,所有前方的LCD板充当了扩散器,因此有些模糊。

Huang等人创作的光场立体镜

接下来该做什么?

近几年和光场显示器一起,我们已经看到了很多光场摄像机如Lytro的推出,它能够从不同的相机孔径捕捉全4D光场。这些计算摄像机让你获得能够重新聚焦或拍摄后改变视角的光场图像,开创了各种创意可能性。这些相机显然也比普通的相机更好,因为他们通常能捕捉到更多光源。下一代360度光场摄像机会进一步改进,而且能为VR扩展光场焦距和独立视角属性。这预示着在移动VR设备上播放360度光场视频会有一个好的未来。它让用户在VR头显中进行自由转动头部,并以自然的深度感知去探索整个场景。VR中出现的另一个新兴领域是移动设备上的定位跟踪,能够实现图像实时响应用户头部的实际物理位置,对于实现一种真正沉浸式的体验以及我们在未来会深入思考的某个东西来说,是非常关键的一点。