今日,国内VR品牌厂商NOLO发布了其最新定位技术StarTraq+NOLO M2交互手柄方案。据悉,StarTraq是由NOLO自主研发,采用高精度4目视觉追踪+高精度惯性测量方案,可实现房间级/线下大空间6DoF的Inside-out空间定位技术。通过AI算法模块加持和机器深度学习,StarTraq在追踪精度上可达到定位准确度1mm,定位延时<5ms。同时NOLO M2手柄可广泛适配于VR一体机、VR分体机、AR眼镜等多种XR产品形态。
高环境适应性,高鲁棒性,抗强光
众所周知,VR行业核心技术之一便是头部与手部的6DoF追踪定位。关于StarTraq方案攻克的难点,NOLO的技术负责人表示,随着VR设备的越来越轻便,大量用户愿意将其携带到室外使用,但目前市面上多数计算机视觉定位的VR设备在强光环境下都会遇到定位失效的问题,用户使用效果大打折扣。
为了解决强光直射定位丢失的问题,NOLO采用高精度4目视觉追踪+高精度惯性测量方案,通过AI算法模块加持突破了强太阳光照射场景下的视觉追踪难题。同时利用深度学习技术识别图像中特定的物体,结合运动物体的先验知识,可更好的去除潜在的动态区域,以保障用户即使在强光照射环境下也可正常使用设备。
水平250°,竖直210°超大FOV,快速初始化
日常用户使用中,另一个常见问题为:当手柄移出定位范围后很容易丢失,一旦丢失回正的速度慢会导致延迟明显。
针对这个问题,NOLO技术负责人表示:定位追踪从技术上分为定位初始化阶段和追踪维持阶段。目前双目完成定位初始化,单目维持追踪是主流的视觉定位方案。NOLO突破了单目视觉定位即可完成初始化的瓶颈,四颗Camera使手柄被定位FOV达到了水平250°,竖直210°。当手柄完全超出视觉传感器的覆盖范围时,NOLO充分利用惯性测量+基于人体臂肘关节追踪的运动预测,以保证手柄定位的长时稳定流畅追踪。
如果用户在手柄超出定位FOV后,再次重新进入,得益于视觉和惯导定位以及NOLO对用户使用行为习惯进行了大量的建模分析,可保证回正时间在毫秒级,即用户基本无法感知到该部分的延迟。
多平台兼容、多产品适配、支持大空间定位
经深度优化,StarTraq具有良好的跨平台可移植性,除了支持传统的Qualcomm平台外,还可应用于Rockchip等算力平台,适配Android、Windows、Linux等各种操作系统。交互手柄NOLO M2可适配VR一体机、VR分体机、AR眼镜等各种XR产品形态。同时,通过对无线通信进行了深度定制优化,自动感知WiFi干扰自适应跳频,NOLO M2手柄支持大空间多人同时使用6DoF交互。
与StarTraq同步推出的NOLO M2手柄除了搭载StarTraq定位技术,拥有出色的定位精度和极低的延迟外,手柄还可实现五指识别功能,即通过压力传感器识别手指运动,AI算法可在VR中准确模拟手部动作,为用户提供完整的五指识别体验。作为NOLO推出的手柄方案,NOLO M2交互手柄拥有更广的有效频宽,振感更加细腻逼真。自研的音频转震动算法,可以使开发者更方便地在游戏中调校触觉反馈的功能,让用户可以享受到更多场景更丰富的振感效果。
得益于NOLO多年在XR交互领域的积累,StarTraq+NOLO M2手柄还开放支持对头显摄像头布局SDK的调整,以便于更好的满足客户的功能定制和工业设计需求,帮助客户快速推出整机产品。
作为以XR交互核心技术起家的NOLO,一直将给用户提供多样化的交互方案作为研究重点,从外向内的PolarTraq到内向外的SodarTraq,到裸手自然交互,再到今天推出的StarTraq技术。无一不见证了NOLO持续以用户需求为准则,不断为客户带来更沉浸逼真VR体验的初心。