Meta Codec Avatar研究负责人Yaser Sheikh就化身技术在NVIDIA GTC会议上做了演讲。
去年9月,Meta在Lex Fridman播客中展示了其Codec Avatars技术。科技博主弗里德曼和Meta CEO马克·扎克伯格基于逼真的编解码器化身进行了一小时对话,在采访过程中,两人都佩戴了Meta Quest Pro,该头显通过五个传感器进行眼部和面部追踪。
在NVIDIA GTC上,Yaser Sheikh表示采用配备了4个GeForce RTX 4090显卡的工作站来渲染双方的化身。这意味着该技术距离在Meta Quest 3等VR一体机上运行同等质量化身还有很长的路要走,因为Quest 3的渲染处理只占一小部分。
Sheikh介绍,播客里显示的为Codec Avatars 2.0。Sheikh后来在问答环节中表示,实验室已经让Codec Avatars 1.0适用于VR一体机;这些化身可以通过智能手机面部扫描来创建。
最后,Sheikh还展示了Codec Avatars 3.0,其使用高斯飞溅技术将人物渲染得更加真实,甚至是一根头发丝都清晰可见。
Meta尚未宣布何时将其Codec Avatars研究成果转化为产品。Meta多年来一直致力于Codec Avatars的研究,这项研究于2019年首次向公众展示,长期目标是在平价头显上实现逼真的远程呈现。
Meta面临的压力是最终打造更逼真的化身:Apple Vision Pro已经通过数字角色实现功能良好的远程呈现解决方案,尽管数字角色仅在窗口内以二维方式显示,但我们可以预期苹果将在未来几个月和几年内大幅改进该技术。
根据泄露的硬件路线图,Meta Codec Avatars将应用于一款新的高端头显,是否就是Meta与LG合作开发的头显?据报道该头显将于2025年上市。