视觉SLAM,让大朋E4的游戏体验再进化

🤖 由 文心大模型 生成的文章摘要

3DoF(三自由度)和6DoF(六自由度)定位之间的差距,可不是简单地由“3”数到“6”。

当头显采用3DoF定位时,使用者只具备在X、Y、Z三轴上扭转的才能,但无法下蹲、闪躲、大范围行走,就像是一根不被放飞的竹蜻蜓,永远只能在手掌中肆意旋转。

而6DoF定位就完全不同。头显除了具备3DoF的能力外,还具有在X、Y、Z三轴上移动的才能,几乎能够模仿一切的头部静态。

如今,市面上的主流XR产品,都已进阶6DoF,带来了沉浸感更强、精度更高的虚拟交互体验。以大朋E4为例,头部定位精度已达毫米级别,角度偏差小于0.2°;手柄定位精度位移偏差小于2毫米,角度偏差小于0.002°。

毫不夸张地说,由3DoF到6DoF,是XR产品们一次破茧成蝶般的质变。

而这场质变的功臣,便是最早应用于潜艇、太空车等军用领域的核心技术——SLAM。

视觉SLAM,VR头部定位的关键技术

SLAM是Simultaneous localization and mapping缩写,意为“同步定位与建图”。

在VR/AR应用中,头显在运动过程中通过自身传感器观测周围环境,并根据环境定位自身位置,再根据自身的位置进行增量式的地图构建,从而达到同时定位和地图构建的目的。

SLAM的细分类别很多,应用于XR领域的主要是“视觉SLAM”。视觉SLAM又可下分为“特征点法”、“直接法”等等。其中,“特征点法”相比之下计算量更小,运行速度更快,定位、构建延迟也就更小,体验更为流畅。

大朋E4便是采用的这种方法,并通过4个鱼眼摄像头(四目)对拍摄区域进行特征点识别、采集后,整合反馈给SLAM系统的其他模块,完成精准定位。该过程的采集速率越高,采集到的特征点及各类数据就越多,建图的速度和精确度就越高。

目前,大朋E4的摄像头刷新率可达100FPS,相比之下,一体机的刷新率普遍在60FPS左右。原因在于E4作为PCVR,头显可以直接连电运行,电压足够支撑大功率摄像头,而一体机由于采用电池供电,摄像头功率难以达到同等级别,采集速率也就偏低。

同时,由于一体机的所有算法、应用都在头显芯片中同时运行,SLAM的运算负荷又较大,难免会对用户体验造成一定影响。

PCVR就少去了这部分烦恼。E4采用了PCVR独有的分体机结构,使得SLAM算法的全部流程都可以在位于头显中的16核dsp芯片阵列内完成,而PC端则负责运行游戏应用,互不打扰,游戏体验得到保障。

除此之外,E4还针对视觉SLAM存在的部分缺陷进行了调节与优化,以保障稳定的定位效果。

打破弱纹理、暗环境限制,实现稳定定位

其实E4刚发售时,也有不少用户也曾向大朋反馈过在纯色环境(弱纹理)或是低光强环境下,头部追踪稳定性和精准度均有下滑。事实上,这也是采用视觉SLAM的XR产品共有的问题。

为此,大朋在几次版本中不断优化相关算法,提升效果也是比较显著的。目前,E4在弱纹理环境下(例如家庭中常见的纯白色墙壁),也能够完成质量达标的特征点采集;在光照方面,通过调整鱼眼相机的采集算法,E4可在30lux以上的环境条件下,实现与正常亮度环境相近的定位精度。值得一提的是,随着头部追踪、定位性能提升,配合长尾追踪算法的优化,手柄抖动情况也得到明显好转。

当然,上述优化并没有完全达到弥补视觉SLAM缺陷的程度,如若想要追求最佳游玩体验,最好在纹理丰富、光照强度适宜的环境中进行游玩。

对性能的追求,向来是没有上限的。大朋E4如今仍在通过一月一次的版本更新,针对定位、显示、操作等等性能进行优化和调整,希望为玩家们带来更优质的虚拟交互体验,让E4成为更多人的游戏VR首选。