ZED相机发布 能够提供移动VR位置追踪功能

🤖 由 文心大模型 生成的文章摘要

用来位置追踪的外部传感器会增加VR头盔的成本和复杂程度。Oculus Rift使用一个很小的传感器来定位人体,而Vive则依赖两个传感器来进行VR的空间定位。3D成像的先驱Stereolabs旨在改变这一切,通过它的ZED立体相机以及Nvidia的GPU来实现对人体、房间以及更大范围的位置追踪功能。借助于GPU的解决方案,该设备可以配合移动VR头盔来使用,比如三星的Grar VR。

在去访问Stereolabs位于旧金山办公室的期间,我有幸尝试了一下该设备。在体验过程中,我漫游在虚拟环境和现实场景之中。该公司的3D现实场景模型是利用相机来打造的。

通过成像来追踪位置和动作并非是新闻。该技术被称为SLAM,已经存在很长一段时间了——并且也在其它产品中得到应用,比如联想即将推出的基于Tango技术的手机。不过想要该技术实时精确地工作仍然存在一定挑战。由stereolabs系统提供的追踪技术在我体验中还是很精确的,并且和我之前用过的Vive以及Rift很类似。

不过体验的时候相机追踪有点滞后。Stereolabs认为是demo的原因,因为现阶段的demo基本上是将那些原型捆绑组合起来,实现开发工具包的功能。尤其是它和移动头盔配合使用的时候,因为摄像数据需要传给独立显卡(无论是PC还是Jetson嵌入式单元模块),之后再传回头盔,再转换成正在运行的游戏引擎代码。我能预见想要完全消除滞后性将是一个长期解决的问题。

为何追踪如此重要

位置追踪非常重要,因为它可以让你在虚拟的世界到处走动。如果没有了它,你虽然可以环顾四周,不过你的行进轨迹是不被追踪的——所以你在(虚拟世界)中是不能走,挑或者躲避的。对于360全景视频消费来说,这可能无关紧要,因为在任何给定的视频中,360全景视频都只能够支持单一视角。不过对于更加沉浸的游戏和体验,以及许多商业和工业应用来说,能在(虚拟)场景中走动式至关重要的。

Zed深度感应摄像头是时尚的,不过看起来并不好固定在头盔上。Stereolabs正在设计一个未来的版本,让其更容易和VR头盔结合在一起。这是我的推测,不过随着iPhone 7的立体相机的流言四起,我可以想象将来内置手机的VR头盔就能够有足够的成像和处理能力,来完全运行这样的系统。

同样的,将 Zed 相机加入现有的VR头盔,还不如用VR头盔和一个简单的位置追踪传感器结合来的便宜。所以对于Stereolabs来说要解决Zed(对于消费者)的实用性,就需要集成一个更好以及更廉价的组件。

ZED相机(499美元,合人民币3280元)的用户可以下载包含位置追踪功能的升级版本SDK。就目前版本来说,它需要支持Nvidia CUDA运算的GPU方能运行。

SLAM:SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建,或并发建图与定位。 SLAM最早由Smith、Self和Cheeseman于1988年提出。 由于其重要的理论与应用价值,被很多学者认为是实现真正全自主移动机器人的关键。

Jetson嵌入式单元模块:利用NVIDIA Jetson 模块和开发者套件,针对嵌入式系统应用开发释放GPU的潜能。

Tango是谷歌公司的一项研究项目,2014年2月谷歌已经成功为该项目研发出了一款 Android手机原型机[1]  ,配备了一系列摄像头、传感器和芯片,能实时为用户周围的环境进行3D建模。
【913VR原创内容,转载请注明及回链】