固件发现表明Meta正将其逼真的“编解码器化身”(Codec Avatars)引入Quest头显。
Codec Avatars是Meta长期研发项目,旨在通过具备面部追踪传感器的头显以及眼镜实时驱动照片级真实化身,从而彻底改变远程通信。Meta于2019年首次透露了该项目的存在,并在随后的几年中展示了多个更新版本。
虽然Codec Avatars一直被描述为处于研究领域,但一项新的发现表明,Codec Avatars可能会成为Quest的一项功能。
VR爱好者Luna通过反编译Meta Quest固件62版发现了对Codec Avatars的引用,该固件目前可供公共测试频道的测试人员使用。
过去,我们已经多次以这种方式发现即将推出的Quest功能。这表明,Meta正努力在Quest 集成该功能。
去年3月,Meta首席技术官博斯沃思表示,公司在发布Codec Avatars方面“取得了进展”,但提示“我们还需要几年的时间”。
目前还不清楚该功能是为现有的Quest头显还是未来的Quest Pro 2开发。
同样在去年3月,Meta Quest硬件路线图被The Verge披露。除了Quest 3和即将推出的更廉价的头显(传闻为Quest 3 Lite),该路线图还提到了一款新的Quest Pro头显以及Codec Avatars。
但Meta可能打算将Codec Avatars引入现有的Quest Pro,甚至是Quest 2和Quest 3。
2021年,Meta研究人员展示了一种更加有效的解码编解码器化身的方案。在Quest 2上,新方案可在空白场景中以72FPS的帧速渲染1个Codec Avatar,以63FPS左右的帧速渲染3个Codec Avatar,或者以43FPS左右的帧速渲染5个Codec Avatar。
但这些化身如何在缺乏面部和眼动追踪功能的Quest 2和Quest 3上驱动呢?Meta研究人员还展示了不需要面部追踪的Codec Avatars版本,最近甚至推出了根本不需要任何追踪功能的版本。相反,来自麦克风的音频被输入神经网络,神经网络可预估当前语音模式可能的面部姿势。
尽管如此,Meta完全有可能希望为Quest Pro 2保留足够强大的编解码器化身,以支持Horizon Workrooms会议中的Codec Avatar,以通过真实面部追踪来驱动。
此外,Meta研究人员一直致力于用智能手机扫描来取代由100多个摄像机组成的专用捕获设备生成Codec Avatar的过程,这是大规模交付Codec Avatar所必需的,但生成效果可能不尽理想。Quest Pro 2可能包括一个前置显示屏和用于化身设置的深度传感器,就像Apple Vision Pro用于其数字角色一样,但同样仍然无法匹配专门的捕获装置。
尽管如此,任何版本的Codec Avatars都将比Meta当前的化身会有巨大的改进,后者具有基本的卡通艺术风格,并与照片写实主义相差甚远。