微软提出基于XR头显捕获数据的3D全身运动解决方案

据itmedia报道，微软MR与AI Lab研究团队基于头显捕获的头部和手部追踪数据开发了“FLAG：Flow-based Avatar Generation from Sparse Observations”解决方案，该方案可实现以三维形式呈现身体全身运动。

通常而言，通过HoloLens、Meta Quest等头显捕获的头部和手部追踪数据由于不能表现人体全身，因此很难生成逼真3D化身。

为此，研究团队提出了一种基于头显信号生成自然人体全身动作的全新方案，以解决这一难题。

所述系统具体而言基于流模型解析给定头部和手部动作数据，该模型能够实现3D姿势分布和基础分布之间的可逆映射。

除了支持3D人体条件分布外，该方案还支持从观察数据到潜在空间的随机映射，并从中预估各种人体关节姿势以生成自然姿势。

值得一提的是，通过实验评估和消融研究，该方法优于大型运动捕捉数据集AMASS的最新方案，该数据集以SMPL人体模型模拟多种全身姿势，以误差极低、优化较少著称。