Meta Quest SDK最新版本增添了拇指微手势功能,用户能够进行食指的滑动与点击操作。同时,该版本还提升了Audio To Expression的质量。
在此次更新中,还涵盖了用于直通摄像头访问的辅助实用程序。这一功能是Meta刚刚向开发人员发布的,若用户授予权限,应用程序便能访问头显的前置彩色摄像头,同时获取包括镜头内在函数和头显姿势等元数据信息,开发人员可借此运行自定义计算机视觉模型。
拇指微手势借助Quest手部追踪功能,当用户的手侧向且手指弯曲时,该功能能够检测到用户在食指上的拇指点击与滑动操作,其操作体验类似于Steam控制器D-pad。
在Unity环境下,微手势功能需要Meta XR Core SDK支持。而对于其他引擎,则可通过OpenXR 扩展XR_META_hand_tracking_microgestures来实现。
Meta表示,这些微手势可用于实现无需控制器的快速转动远距传送,但具体的应用方式则由开发人员自行决定。比如,开发人员可将其作为一种更为便捷省力的方式,用于浏览界面,用户无需伸手或指向界面元素即可完成操作。
值得关注的是,Meta还将这种拇指微手势方法应用于其正在研发的sEMG神经腕带,以及最终的AR眼镜输入设备。据报道,该技术还有望应用于其计划在今年晚些时候推出的HUD 眼镜。这意味着Quest可作为这些未来眼镜的开发平台运用拇指微手势功能,不过要实现与 Orion原型全部输入功能相匹配,还需借助眼动追踪技术。
改进音频表达方面,Audio To Expression是SDK v71中引入的设备端AI模型,它仅依靠麦克风音频输入,就能生成合理的面部肌肉运动,在无需任何面部追踪硬件的情况下,便可提供面部表情的估计。
Audio To Expression取代了已有十年历史的Oculus Lipsync SDK。Oculus Lipsync SDK仅支持嘴唇动作,无法支持其他面部肌肉运动,而Meta称Audio To Expression实际上比Oculus Lipsync 占用更少的CPU资源。
如今,Meta表示,Meta XR Core SDK v74带来了升级后的模型,与早期模型相比,在情感表达力、嘴部运动以及非语音发声的准确性等各个方面均有显著改善。然而,Meta自身的 Avatars SDK依旧没有采用Audio To Expression,也未使用由内而外的身体追踪技术。