当眼球追踪遇到VR:专访七鑫易维联合创始人彭凡

🤖 由 文心大模型 生成的文章摘要
上周我拜访了一家黑科技公司,这家公司一直关注眼球追踪技术的研发与应用。没错,它就是七鑫易维。前不久七鑫易维在北京发布了全球首款VR眼球追踪模组aGlass,拜访过程中我亲身体验了这款设备的效果,感觉还是很神奇的。至于七鑫易维到底是一家什么样的公司,我们还是请七鑫易维联合创始人彭凡来说一说吧。
最早的技术来源于战斗机驾驶员的瞄准技术
经过与彭凡的交流,我了解到,七鑫易维的创始人黄通兵黄总最早是航空航天专业出身,之后从事了数年飞行器制造的工作,当时他接触了战斗机飞行员的瞄准技术。关于战斗机飞行员的瞄准,最早是采用头动控制,有点类似于现在一些移动VR游戏中的头控射击方式,不过当时头动控制已经暴露出一些问题,飞行员在高速飞行时头部会充血,头部转动不灵活,之后各国就在研究能不能用眼动去锁定瞄准。当时黄总认为将这种眼动锁定瞄准的技术作为一种人机交互技术用于消费级市场可能会有一个很好的前景,于是他在2007、2008年开始申请专利,2009年七鑫易维注册成立,公司就一直坚持在眼球追踪技术领域进行探索和发展。
关于眼球追踪技术,其实没有我们想象得那么简单。彭凡对我说:“这项技术如果没有长时间的积累,很多坑你是绕不过去的。比如说特殊眼球的数据积累,我们普通人的眼球都是千差万别的,有时候我们还会遇到很多特殊的情况,比如说斜视、眼睛有病变,或者瞳孔的特征有差异。当我们遇到这种特征时,我们就要把数据搜集起来,所以在我们公司数据也是很关键的一个因素。同时在相关知识方面,我们需要具备与眼球结构相关的生物学知识,将其作为技术研发的基础,比如说眼球的参数,你需要给它建模,你还需要对相关的光学原理非常熟悉。眼球追踪技术是复合性学科应用,所以我们公司有光学工程师、数学和计算机视觉专业的博士,还有认知神经学的专业人员,我们公司虽然人不算太多,但博士确实不少。“
目前我们把眼动追踪技术主要用在三个领域
了解了眼球追踪技术确实是一种黑科技,我又问了问彭总,这种黑科技主要应用的领域都是什么。彭凡告诉我,目前七鑫易维主要有三个领域的系列产品。“第一个领域是医疗康复,我们开发了全能眼沟通辅具,主要帮助类似渐冻人、高位截瘫这样的病人用眼睛打字上网沟通。其实这样的产品在未来会有更大的延展性,除了给残疾人使用还可以应用在养老看护领域,现在病房里有些病人不方便按铃,那么病人通过一个眼神,就可以借助眼球追踪技术叫护士过来查看他的情况。”
“我们第二个业务是眼动分析系列,可以应用在广告行业、高校心理研究和互联网的UED(用户体验研究)部门,这些领域的客户经常购买我们的眼动仪。这种设备可以非常精准的记录用户的眼球动作,比如说用户浏览画面的顺序和热力图,然后通过专业分析工具分析出用户在浏览一个内容时会关注哪里,哪些元素会吸引他,他会漏掉哪些元素,这些分析在广告设计、心理研究的性格分析包括教育领域的阅读习惯培养等方面都可以发挥重要作用。最近我们也在跟自闭症治疗机构合作,看看我们的技术能不能在自闭症的检测和康复过程中发挥作用。在这些方面,我们的产品其实就是一个眼动分析科学研究工具,它在全球范围内都有很广泛的应用。”
“第三个领域就是我们现在最火的VR/AR,我们在可穿戴设备中通过眼球追踪,获取用户眼睛注视点的位置,包括交互,这也是目前行业最急需的应用。总体来说我们的技术主要有这三大领域的应用,明后年我们可能还有一个新的应用领域就是智能汽车和智能驾驶。在这个领域我们希望能够通过眼球追踪检测到司机的状态,比如说疲劳驾驶,或者是注意力不集中(比如玩手机)。目前全球还没有哪一家公司把眼球追踪与智能驾驶进行很好的结合,而我们目前也正在进行这方面的尝试。”
我们希望能把眼动追踪技术内置在VR设备里
在眼球追踪与VR/AR结合的这个话题上,彭凡简单介绍了一下七鑫易维在这方面的发展历程。2012年谷歌推出谷歌眼镜,当时七鑫易维的主要业务还集中在医疗辅具方面。其实之前团队就有一个构想,那就是未来的计算机设备能不能成为一个可穿戴设备,如果是类似于眼镜的产品,那么眼球追踪就是一个很好的交互手段,而谷歌眼镜也算是对于团队构想的一个证明。2013年Oculus开始众筹,2014年被Facebook收购,团队产生了一个很强烈的预感,那就是头戴式设备一定会火。
“当时我们就在思考,如果头戴式设备能够与智能手机并驾齐驱,甚至是替代智能手机,那么眼球追踪能不能成为核心的交互技术,或者说在其中发挥非常重要的作用?如果可能的话,七鑫易维能不能成为这项技术在全球的供应商?从那时起,我们的思路就很清晰,我们首先要把其中最难的技术难题解决了,然后在行业爆发的时候争取脱颖而出,因此我们的技术研发一直在持续进行。”彭凡告诉我,相对于远距离的眼球追踪,对应VR头显的眼动有着更多技术难题。举例来说,用户每一次戴上和摘掉VR头显,其佩戴的位置不会精准的固定在一个位置上,传感器和眼球的相对位置不固定,这就需要通过算法来保持一定的冗余性。“研发VR眼动的技术确实很难,我们大概有一两年时间完全是在实验室里进行摸索,去年我们才真正能够拿出来做demo,今年我们能够量产了,明年我们争取能与VR硬件厂商达成合作,让他们把我们的技术内置在头显设备里,这就相当于笔记本电脑内置键盘鼠标、智能手机内置触摸屏一样。”
使用眼球追踪技术,对于VR设备有着诸多裨益。彭凡给我介绍了其中的一种叫做“注视点渲染”的技术。这项技术的关键点在于,系统会基于用户的注视点来做局部渲染,而用户注视点的获取是有赖于眼球追踪技术的。“我们可以把眼球追踪注视点的数据提取得非常精准,同时响应速度也非常快,然后我们把这个数据传递到英伟达的显卡上,显卡获得这个数据之后就可以做局部渲染了,这是我们与英伟达达成的合作。同时我们与51VR、指挥家这样的CP团队也有合作,他们只需要把我们的眼动模组装到VR头显里,然后他们就可以基于英伟达提供的软件接口开发支持注视点渲染的游戏或应用。注视点渲染只会集中渲染用户注视的区域,这样可以极大提升渲染效率,降低渲染计算量。我们做过一个测试,在不同的环境下渲染数据量能减少3-9倍,比如说我们一个虚拟看房的场景计算量优化了70%,提升了7倍的渲染效率。过去这种大数据渲染对于CP团队来说成本很高,现在我们有效降低了渲染计算量,降低了CP团队的开发成本,也降低了用户的使用成本。”
本次众筹我们主要面向开发者
对于前不久发布的VR眼球追踪模组aGlass,七鑫易维也开启了众筹,我也询问了一下彭总本次众筹的情况。彭凡表示,本次众筹的量很小,主要面向开发者。“这次我们只拿出了500套出来放到众筹上,我们是想先让开发者试用一下,看看他们的反馈。其实我们的模组可以应用在很多领域,比如说游戏、影视、旅游、教育和医疗等等,因为这些领域的开发者都很关心用户的数据,还有渲染数据量的问题,特别是像游戏这样需要注视点渲染的领域。同时,我们也在思考像FPS这样的游戏,能不能用眼球实现一个锁定敌人的功能,这就会很有意思了,你就可以体验未来战斗机驾驶员的感觉了。开发者的想象力很丰富,当他们获得开发工具的时候,他们会想象出很多好玩的东西,对此我们非常期待。我们明年会有更多支持开发者的行动,比如说举办一些比赛和活动,我们也希望把这项技术更多应用在内容层面。”
我们的愿景就是“让世界读懂你的眼神“
按照惯例,我最后依旧问了问彭总这位七鑫易维的联合创始人对公司的愿景。彭凡说:“其实我们的口号里就隐含了我们的愿景,那就是让世界读懂你的眼神。我们认为眼球追踪技术在未来会成为一项最为普及的基础交互技术,应用在VR、手机、智能汽车等多个领域。而我们还是会坚持作为这项技术的一个解决方案的提供方,在这方面有点类似于我们的投资方高通,他们并不会做一款具体的手机,但每一款手机都会采用他们的技术。因此,我们会一直坚持着我们的愿景,把眼动技术应用到人们生活的方方面面。”

【913VR原创内容,转载请注明及回链】