日前,由创业邦和XR产业投资联盟主办的「XR产业链深度探索」系列活动之“XR交互技术专场”顺利举办。七鑫易维副总裁路伟成受邀出席并发表主题演讲,分享了眼球追踪技术在XR领域的应用场景、市场现状及发展趋势。
XR产业投资联盟由高通于2021年发起,成员包括歌尔、联想、腾讯、高瓴资本、红杉资本、蓝驰创投等30家CVC和VC机构,旨在推动XR领域的创新和创业,加速XR产业的成熟和规模化。
▲XR产业投资联盟成员
眼球追踪在VR/AR领域的应用场景
路伟成首先分享了眼球追踪技术在VR/AR领域的主要应用场景,包括多模态自然交互、虚拟人表情追踪、注视点渲染、IPD检测、虹膜识别、AR虚实融合对准、结合变焦解决VAC(视觉辐辏调节冲突)、精准用户画像、视觉健康应用以及认知和心理健康应用等。
▲眼控交互之“眼神打地鼠”
路伟成表示,在VR/AR场景下,眼球追踪能精准识别用户凝视的目标,从而发挥类似「光标」的作用,将与语音识别、手势识别等共同构成一套多模态自然交互体系,再搭配上小巧的触摸指环,就能实现全天候、全场景的使用环境。
眼球追踪之于VR/AR的价值远不止于交互本身。针对眼球追踪+注视点渲染技术的应用,路伟成指出,人眼在看东西时,并非整个视野范围都一样清晰,而是中心点清晰,越往周边越模糊。
“因此,在VR/AR设备上渲染显示图像时,并不需要整个画面都同一解析度,而是眼睛‘中央凹’所对应的视觉画面最高,往周围依次降低,通过这样的方法,能大幅减少每帧画面需要渲染的像素数量,这就是注视点渲染的原理。”
▲眼球追踪+注视点渲染
路伟成透露,从针对不同游戏的大量测试来看,在眼球追踪和注视点渲染技术的帮助下,至少能提升2-3倍的硬件效能。换而言之,原本只能达到30多帧的内容,或许就可以达到75帧、90帧甚至更高;运行一些低负载内容时,也能有效降低负载,延长续航。
眼球追踪正加速成为VR/AR的标配
路伟成坚信眼球追踪将成为VR/AR的标配,并认为目前已进入加速发展期,“就VR而言,注视点渲染的需求决定了眼球追踪的高渗透率;对AR来说,眼球追踪将会成为必不可少的交互功能。”
事实上,微软、Magic Leap、HTC、小派、Varjo等均已推出支持眼球追踪的VR/AR设备,主要面向B端。接下来,索尼、Meta以及苹果等搭载眼球追踪功能的消费级新品将陆续上市,其他品牌也将紧随其后加入。
路伟成透露,除了刚发布的创维PANCAKE 1Pro,七鑫易维还为国内多个XR头部品牌提供业内领先的眼球追踪解决方案,预计不久后就会有进一步的消息披露。
▲七鑫易维XR头显/眼镜合作企业(部分)
截至目前,七鑫易维已与创维、HTC、NOLO、Rokid、小派、Nreal、诠视等品牌深入合作,并与高通、英伟达、AMD、华为、微软、英特尔等巨头建立长期生态合作伙伴关系。
路伟成表示,接下来七鑫易维将与国内VR/AR硬件品牌积极合作,加快硬件的集成工作,并将眼球追踪的能力开放给合作伙伴,合力推动技术的完善和应用生态发展。