根据NextReality报道,本周四,Facebook Reality Labs(FRL)公布了其在人机交互领域取得的进展:利用人工智能读取大脑信号,从而了解用户的交互意图。Facebook创始人兼CEO马克·扎克伯格过去也曾详细探讨过该技术。
FRL表示,目前他们距离这项技术的最终形态依然十分遥远,但是可以通过智能腕带在短期内实现这样的目标,并应用在即将面世的AR智能眼镜上。
该腕带由CTRL-Labs(Facebook于2019年收购)开发,使用肌电图(EMG)传感器读取神经信号并解释手和手指运动的命令。
尽管HoloLens 2、Magic Leap和Facebook的Quest 2证明了目前VR/AR硬件已经可以不依赖外围设备进行手部追踪和手势识别,但EMG可以通过读取用户的操作意图来改进手部追踪和手势识别交互,实质上「窃听」你的中枢神经系统,而不是使用基于摄像头的传感器追踪手的动作。
FRL神经运动接口负责人Thomas Reardon表示:“我们正在尝试使用神经接口来让您使用周围神经系统的输出直接控制机器,特别是大脑外部控制手和手指肌肉运动的神经。”Thomas Reardon是Facebook收购CRTL-Labs后加入Facebook工作的。
Facebook概述了EMG腕带在几种潜在AR用例场景下的应用以及对传统交互的改进。目前EMG腕带能够执行的命令仅限于基本的捏合和释放手势,例如确认虚拟助手提供的行程等等,FRL在先前的博客文章中也进行过展示。
最终,Facebook将为EMG腕带扩展能够在空间中单击和拖动虚拟对象的功能。此外,它将借助机器学习来学习您的输入方式,并通过预测接口根据上下文推断用户的意图,帮助你在虚拟键盘上更快地输入内容。
这款EMG腕带还将支持触觉反馈,以向交互命令添加明显的感觉。例如,拉弓射箭的动作将伴随独特的触觉反馈,模拟弓弦向后拉时的阻力。
FRL正在测试具有不同触觉反馈机制的两款EMG腕带原型。其中之一被称为Bellowband,其中包括八个可传递压力和振动模式的气动风箱。另一个被称为Tasbi(“Tactile and Squeeze Bracelet Interface触觉和压力腕带接口”的缩写),并采用了六个触觉致动器和新颖的手腕压力机构。
在大家关心的EMG腕带可能泄露用户隐私的问题上,FRL也有全方位的考量,将依靠在同行评审期刊上发表研究成果,与学术界合作解决行业问题,同时聘请自己的道德专家与技术团队合作,并对FRL的研发工作保持透明,以扭转过去Facebook在隐私问题上的糟糕印象。