Meta分享虚拟化身服装逼真模拟最新研究

据UploadVR报道，Meta分享了一项关于虚拟化身服装逼真模拟的最新研究。

该服装解决方案建立在“Codec Avatars”（Meta开发由VR硬件传感器实时驱动的逼真化身长期项目）之上，与传统渲染不同，Codec Avatars采用一系列神经网络学习以定义虚拟化身的外观，然后根据传感器数据输入不断编码其当前状态，最后将此状态解码为几何图形和最终输出纹理。自从首次亮相以来，Codec Avatars团队已经展示了该系统例如“更逼真的眼睛”、“兼具眼动追踪和麦克风输入”、“支持带有FaceID的iPhone”以及接近完全真实的2.0版本在内的的多次版本演变。

最新研究，“深度逼真物理模拟服装外观”（Deep Photorealistic Appearance for physical simulation Clothing）可将神经网络技术应用于任何体型的服装变形。

目前，该服装系统基于NVIDIA RTX 3090 GPU以每秒13帧的速度运行，但在机器学习领域，随着时间推移，优化将会带来戏剧性的变化，而今天智能手机上的语音合成和对象识别算法也曾经需要基于昂贵的PC GPU实现。

当下的Meta Avatars具有基本的卡通艺术风格，未来，虚拟化身将适用于复杂环境下的大型社交需求，最终，Codec Avatars可能会变成一个单独选项，而不是当今卡通化身的直接迭代，Meta首席执行官扎克伯格描述了这样一个未来，你可能会在休闲游戏中使用“表现主义”化身，在工作会议中使用“现实主义”化身。

今年4月，负责Codec Avatars团队的Yaser Sheikh表示，无法预测Codec Avatars离实际推出还有多久，但离上市并不会太遥远。