Nreal发布手部追踪API重大更新,支持HoloLens手势应用

🤖 由 文心大模型 生成的文章摘要

据Auganix报道,AR智能眼镜厂商Nreal对旗下手部追踪API进行了重大更新,该更新改进了包括快速自遮挡手部动作在内的手势和虚拟对象操作。Nreal表示,此次更新有助于开发者便捷开发相关应用,同时提高了API稳定性和准确性,降低了延迟、并实现新的交互功能。

Nreal透露,“Nreal团队近期基于深度学习人工智能技术,在手部追踪开发方面取得了重大进展”,该公司指出,根据数百万张手部图像及其相应的标签,以关节和指尖为重点,训练了一个专门设计的深度神经网络,由此生成的网络模型将能检测基于Nreal Light摄像头拍摄的手部,随后便可计算手部关键点在3D空间中的位置。

通过计算,Nreal算法不仅能够计算出用户手部在虚拟空间中的位置和方向(即姿势信息),还能够识别包括捏、抓、张开双手、V形手势在内的特定手势,得益于Nreal量身定制的深度学习模型和优化硬件计算,用户手势动作均能实时计算追踪。

除了上述改进,Nreal手部追踪API还集成了MRTK交互工具包,通过整合Nreal NRSDK和MRTK,开发者可以实现直观虚拟对象操作和内容控制体验。同时,这也代表着支持手部跟踪的HoloLens应用也兼容于Nreal设备。

手部追踪属于手势识别范畴,可基于XR应用赋予用户存在感、控制感和空间操控感,手部追踪还可再现人们在现实生活中执行的手势,以便与虚拟空间全息对象交互使用。而在虚拟空间使用手部追踪的好处之一便是,使得交互变得更加直观且高效。

「93913原创内容,转载请注明出处」