Facebook发布关于超现实虚拟化身的新研究

🤖 由 文心大模型 生成的文章摘要
Facebook的AR / VR研发小组Facebook Reality Labs发布了关于实时虚拟化身的方法的详细研究。Facebook Reality Labs创建了一个系统,能够通过紧凑的硬件实现前所未有的保真度,实时动画虚拟化身。通过头显内部的三个标准摄像头,系统能够更准确地表示特定个体复杂面部姿势的细微差别。
除了将相机固定在头显上之外,研究的重点还在于使用传入图像来表达用户的虚拟表示的技术魔力。
解决方案在很大程度上依赖于机器学习和计算机视觉。“我们的系统实时运行,它适用于各种表情,包括做鬼脸,咬唇以及难以精确制作的皱纹等细节。”
该小组深入研究了虚拟化身系统方法,“通过多视图图像扫描VR面部动画”该文件解释了该项目如何创建两个独立的实验头显,一个“Training”头显和一个“Track”头显。
Training头显体积较大,使用九个摄像头,可以捕捉到对象脸部和眼睛的更广泛视野。这样做使得更容易找到输入图像与先前用户的数字扫描之间的“对应”(决定输入图像部分代表化身的哪些部分)。
一旦建立了通信,就可以使用更紧凑的“Track”头显。它的三个摄像头对准了“Training”头显上九个摄像头中的三个。由于从“Training”头显收集的数据可以更好地理解这三个摄像机的视图,这使得输入能够准确地驱动化身的动画。

【93913原创内容,转载请注明及回链】