Meta正在尝试“高斯泼溅”技术,以使Codec avatar虚拟化身更加逼真

🤖 由 文心大模型 生成的文章摘要

Meta正在尝试高斯泼溅技术(Gaussian splatting),以使Codec avatar虚拟化身更加逼真。

通过Codec avatar虚拟化身,Meta希望有一天能够实现逼真的远程呈现,该技术依赖于具有眼动和面部跟踪功能的VR头显以及复杂的人工智能技术,Meta首席执行官扎克伯格最近在播客中展示了该技术的现状。

将Codec Avatars推向市场的最大技术障碍之一是用户必须在特殊工作室中进行详细的3D 扫描,而往往这个过程需要几个小时。未来,Meta旨在基于智能手机拍摄的照片以完成化身生成过程;而另一个障碍是在Meta Quest等缺乏必要计算力的VR一体机上渲染逼真的虚拟化身。为了解决这个问题,Meta正在开发一种专用芯片,以帮助实时渲染虚拟化身。

如今,Codec Avatars 2.0更新了最新版本虚拟化身技术,采用高斯泼溅技术以实现更真实、更高效的化身照明。Meta在题为“Relightable Gaussian Codec Avatars”的研究论文中介绍了这一新流程。

高斯泼溅是一种机器学习技术,可以根据真实位置的一些图像渲染3D场景。与技术上相关的NeRF不同,高斯泼溅图可以实时渲染。

Meta研究人员将高斯泼溅应用于Codec Avatars化身,并取得了惊人的结果:化身照明比以前更加真实,甚至最精细的细节(例如单根头发和毛孔)也能真实渲染,并响应不断变化的照明条件。

研究人员表示:“我们的方案在不影响实时性能的情况下优于现有方案。”,研究人员基于标准PC VR头显展示了该方案的可行性。

「93913原创内容,转载请注明出处」