Meta AI研究人员演示了最新化身身体姿态解决方案“AGRoL”

🤖 由 文心大模型 生成的文章摘要

Meta AI研究人员正趋向于在没有额外追踪硬件的情况下呈现逼真化身腿部显示。

尽管实现开箱即用,目前的VR系统只能追踪用户的头部和手部位置,而肘部、躯干和腿部位置可基于一类称为反向运动学 (IK) 的算法来估计,但这只是有时仅对肘部准确,很少正确定位腿部位置。

鉴于IK的局限性,如今的一些VR应用只能显示用户手部,许多应用更只能显示用户上半身。基于SteamVR追踪支持的PC VR追踪器,例如HTC Vive Tracker,实现全身追踪需要足够多的追踪器,不但花费不菲,且多数游戏并不支持。

去年9月,Meta AI研究人员展示了一个经过强化学习训练的神经网络——QuestSim,其仅需Quest 2及其手柄的追踪数据便能估计出一个合理的全身姿势。不过QuestSim的延迟为160毫秒——在72Hz下超过11帧。该方案只适合看到他人的腿部化身,低头时是看不到己身的。

而在一篇名为“Avatars Grow Legs ( AGRoL )”的新论文中,另一批Meta AI研究人员演示了一种新方法,他们声称这种方法“实现了最先进的性能”,并且计算要求低于其他 AI方案。AGRoL是一种扩散模型,就像最近的AI图像生成系统,如Stable Diffusion和OpenAI DALL·E 2。

与其他扩散模型和大多数AI研究论文不同,研究人员表示,AGRoL“可以在NVIDIA V100上实时运行”,运行速度约为41 FPS。尽管NVIDIA V100价格高达1.5万美元,但相信经过几年优化,最终将能在智能手机上运行。例如,Google Assistant和Siri中使用的语音识别和合成模型就是这种情况。

尽管如此,目前没有迹象表明AGRoL身体姿势会很快出现在Meta Quest产品中。Meta确实宣布了虚拟化身今年将获得腿部显示支持,但可能会采用不那么先进的算法,且只适用于他人化身。

来源:UploadVR

「93913原创内容,转载请注明出处」