“在虚拟现实环境下写作”,Meta Quest Pro眼动追踪功能揭秘

🤖 由 文心大模型 生成的文章摘要

Meta Quest Pro开辟了新的可能性,一位开发者演示了如何基于Quest Pro眼动追踪功能在虚拟现实环境下写作。

在YouTube和其他频道发布的一段视频里,iOS开发者和XR爱好者Fabio Dela Antonio演示了一项Quest Pro眼动追踪实验,随着Antonio的目光扫过虚拟键盘上的每个键。“Hello World”赫然显现,不仅如此,Antonio还能通过眼动追踪来选择角色。

只要视线停留在虚拟键上半秒钟,就能产生输入,而这一切Antonio仅需通过眼睛就能完成,

在视频中,Antonio特意将双手放在身前,以证明他没有偷偷在用键盘打字。

“Blipping”不是键盘的替代品

尽管眼动打字或“眨眼”打字的想法很不错,但它不太可能取代物理打字,因为这样打字太费时了,例如,Antonio输入“Hello World”花费了12秒。

倘若通过手柄按键进行输入确认,可能会加速输入速度,然而,这种方法也将会遇到一种问题:那就是打字必须时刻盯着键盘,然而,对于当今的键盘侠而言,盲打已是一项基本技能。

尽管如此,眼动追踪功能仍然有用。例如,作为VR手柄和虚拟激光指示器进行更繁琐输入的替代方法,该功能是Quest 2和Pro的标准输入法。

另外,对于残障人士而言,将能受益于眼动输入功能,对此,Antonio希望Meta能为Quest Pro带来更多这样的辅助功能。

长久以来,在VR和AR中高效打字是一个尚未解决的问题,除了上面提到的激光笔方法,Quest 2 & Pro用户还可以选择将物理键盘带入VR,但这只能部分解决问题。毕竟,我们希望有一天能够体验无键盘输入,例如,借助可将任何表面变成键盘的腕带。

为此,Meta开发了一种支持AI的手指追踪键盘,并演示了一种名为“Pinchtype”的系统,该系统输入来自捏合手势,这种方法无疑是创新的,但需要实践。

说到AI,智能手机上的Slide-To-Type系统则可以简化和加快Antonio的注视控制打字,基于这个系统,你可将手指在需要输入的键盘字母上停顿,AI模型便会猜测要输入的单词,在这种情况下,用户的眼睛在字母序列上停留即能生成输入效果。

现在,你可从Github下载Antonio演示原型并通过Sidequest (Guide)安装至Quest Pro进行体验。

来源:Mixed

「93913原创内容,转载请注明出处」