visionOS 2针对Apple Vision Pro手部追踪进行了重大改进,并扩展了头显对周围环境的理解。
这些改进并未在WWDC24主题演讲中公布,但苹果工程师在线上开发者会议上详细介绍了这些改进。
在我们对Vision Pro的评测中,我们批评了开发者手部追踪系统的更新率非常低,这使得「超级水果忍者」和「Synth Riders」等游戏感觉迟缓且反应迟钝。
而通过visionOS 2,苹果对手部追踪进行了两项重大改进。
第一项改进是提高了更新率。在visionOS 1上,系统支持开发者30Hz新手部追踪姿势;而在visionOS 2上,手部追踪姿势则以显示刷新率呈现,通常为90Hz。
另一项改进是预测,这对开发者来说是可选的。启用预测将能推断的手势,表示在显示每一帧时手应该在哪个位置;这可以显著降低有效延迟,但会牺牲一些准确性。
苹果建议开发者启用预测功能将虚拟物体置于手中,但在3D绘图等需要流畅线条的场合就不适用了。
自推出以来,Vision Pro一直为开发者提供由LiDAR传感器生成的持续更新的环境3D网格;但要构建利用此功能的实用应用,需要了解此网格存在的内容。
借助visionOS 2,Vision Pro现在具备了房间追踪功能。该系统将为开发者呈现每个房间墙壁和地板的精确几何形状,甚至支持非矩形墙壁。
当进入新房间时,系统会通知开发者并呈现仅为适用于新房间的几何图形。苹果表示,开发者可以利用此功能,例如,当你进入卧室时,让虚拟宠物迎接你;除了墙壁和地板,visionOS 2还带来了平面检测方面的改进。
visionOS 1只能检测水平和垂直平面,而visionOS 2则能检测倾斜平面。
这些改进可让visionOS开发者构建出更加了解物理环境的应用,这些应用可适应所在空间并锚定到现实世界的表面。