研究人员基于VR手柄摄像头组建全身追踪解决方案“ControllerPose”

🤖 由 文心大模型 生成的文章摘要

据UploadVR报道,美国卡内基梅隆大学研究人员基于VR手柄摄像头建立了身体追踪系统。

如今,消费者VR系统只能追踪用户头部和手部位置,市场上还没有可追踪用户躯体或四肢的追踪系统,为解决追踪问题,PCVR玩家便基于HTC Vive Trackers以连接身体腰臀部和脚部搭建全身追踪系统,但由于Vive Trackers单个售价139美元,且如果用户没有配置SteamVR基站,则总搭建费用超过700美元;另外,还有一些非官方的身体追踪解决方案采用旧硬件和自制驱动程序,例如微软Kinect,则只能从前置角度工作,且追踪质量不是很好。

从理论上讲,头显指向身体的额外摄像头可以追踪四肢,但腿部视野通常会被躯体或手臂遮挡,特别是在头显越来越轻薄的时下,而像Meta这样的大厂也可以通过发布整合了摄像头、电池和集成计算机视觉算法移动芯片组的无线外部跟踪站,但很明显,让用户购买和设置如此昂贵的追踪配件并不现实。

而“ControllerPose”则是一个全身追踪原型解决方案,其基于两个与VR手柄连接的鱼眼摄像头进行身体追踪,该软件可将两个摄像头拍摄的视图拼接,以实现更宽广视野,尽可能实现全身追踪,研究人员表示,身体追踪可精确到8.59厘米以内。

为了解决摄像头追踪问题,研究人员尝试了两种方法:将数据流式传输到附近PC,以及基于Raspberry Pi Compute Module 4和Google Coral进行处理,而通过PC(或VR一体机)搭建追踪系统相对便宜,但板载处理则会降低延迟。

去年9月,泄露的Project Cambria手柄图显示手柄拥有三个板载摄像头(支持inside-out 追踪),同时泄露的教程视频也确认了身体追踪的可行性,由此预见,Project Cambria或未来Meta头显可能都将采用类似于“ControllerPose”的解决方案进行身体追踪。

研究人员称,“ControllerPose”的缺点是,“有32%的操控时间处于视野盲区”,未来,手柄或头显都将搭载支持全身追踪的集成摄像头,但似乎只有外部解决方案才能实现完全可靠身体追踪,更为重要的是,该解决方案的市场前景如何,也需要时间证明。

「93913原创内容,转载请注明出处」