Meta Quest 3开发者现可集成三个主要新特性来改进虚拟现实和混合现实。
由内向外身体追踪（IOBT）和“Generative Legs”（生成化身腿部）功能将于12月推出。通过Depth API实现混合现实的遮挡以前是一项实验性功能，这意味着现在开发者可以测试该功能，但无法发布到Quest Store或App Lab。
以上三个功能均可作为Unity和本机代码v60 SDK一部分。同时，v60虚幻引擎集成包括 Depth API，但不包括IOBT或Generative Legs。
IOBT基于Quest 3侧面摄像头（面朝下）通过先进计算机视觉算法来追踪用户手腕、肘部、肩膀和躯干。
IOBT防止了逆向运动学（IK）预估手臂位置的问题，由于系统只是根据用户头部和手部位置进行猜测，这些问题通常是不正确的，而且让人感觉不舒服。而当开发者集成IOBT时，将会看到手臂的实际位置。
这种上半身追踪还可以让开发者将拇指操纵杆的运动锚定到身体方向，而不仅仅是头部或手部，并且可以执行新的动作，并在虚拟化身上逼真显示动作。
而针对下半身运动，Meta推出了Generative Legs。
Generative Legs使用“尖端”技术用于预估腿部位置人工智能模型，这是Meta多年来一直在研究的技术。
基于Quest 3 ，由于采用上半身追踪作为输入方式，Generative Legs提供了比以往头显更真实的预估，同时该功能也适用于仅采用头部和手部追踪的Quest Pro和Quest 2。
不过，Generative Legs系统只是一个预估器，而不是追踪器，因此虽然Generative Legs可以检测跳跃和蹲下动作，但不会捕捉到许多实际动作，例如膝盖抬起。
由内向外的上半身追踪和生成化身腿部共同在VR中实现了全身追踪，称为全身合成，无需外部硬件。
Meta此前宣布“全身合成”机制将适用于「Supernatural》、「Swordsman VR」和「Drunken Bar Fight」。
在我们的评测中，我们严厉批评了混合现实动态遮挡的缺乏。虽然虚拟对象可以出现在房间设置扫描生成的原始场景网格后面，但它们始终显示在移动对象（例如手臂和其他人）的前面，即使距离较远，这看起来很不自然。
开发者已经可以通过手部追踪网格来实现手部动态遮挡，但很少有人这样做，因为手腕与手臂显示并不完善。
新的Depth API为开发者提供了基于头显角度生成的每帧粗略深度图。这可用于实现遮挡，既适用于移动对象，也适用于静态对象的更精细细节，因为这些对象可能尚未在场景网格中捕获。
动态遮挡将使Quest 3混合现实看起来更加自然。然而，头显深度感应分辨率非常低，因此无法捕获诸如手指之间的空间等细节，你将看到对象边缘周围有一个空白间隙。
深度图也仅建议调整到4米，之后“精度会显著下降”。因此开发者可能还想使用场景网格进行静态遮挡。
开发者可以通过两种方式实现遮挡：硬遮挡和软遮挡。硬遮挡本质上是免费的，但有锯齿状边缘，而软遮挡则需要GPU成本，但看起来更好。
但在这两种情况下，遮挡都需要使用Meta特殊遮挡着色器或在自定义着色器中专门实现它，这远非一键式解决方案，并且可能需要开发者付出巨大努力来支持。
除了遮挡，开发者还可以基于Depth API在混合现实中实现基于深度的视觉效果，例如雾。
来源：UploadVR
