Meta申请Quest和智能眼镜AI虚拟助手专利，可理解用户头部动作

4月中旬，Meta CEO扎克伯格宣布了全新基于AI的虚拟助手功能。1个月后，Meta获得了一项专利，该专利专注于通过基于客户端流程和服务器端流程的混合架构为未来Quest头显和智能眼镜添加AI数字辅助。更具体说，该专利涵盖一种方法，包括用户与AI助手xbot会话期间，AI助手向用户呈现建议，该建议与AI助手系统执行相关联。在会话期间，由头戴式设备访问来自头戴式设备惯性测量单元（IMU）传感器的信号，通过设备上的头部手势检测模型仅基于来自IMU传感器的信号确定用户在对话会话期间执行的头部动作。

未来Meta数字辅助系统可能会通过基于客户端流程和服务器端流程的混合架构来协助用户。

在特定实施例中，辅助系统可使佩戴头戴式设备（例如Quest头显或智能眼镜）的用户能使用头部动作做出响应。辅助系统可通过基地客户端头部动作检测模型检测头部手势并将检测到的头部手势与其预定义指示相关联来理解这种响应。

作为一个示例（但不限于），虚拟现实（VR）系统可在用户佩戴VR头显时检测头部动作，并将检测到的头部动作反馈给辅助系统或在VR头显上执行的另一个应用程序；作为另一个示例（但不限于），增强现实（AR）系统可在用户佩戴AR设备时检测头部动作，并将检测到的头部动作反馈给辅助系统或在AR设备上运行的另一个应用程序。

Meta专利图12示出了示例人工神经网络（“ANN”）#1200；Meta专利图2示出了辅助系统的示例架构。在特定实施例中，辅助系统可协助用户获取信息或服务。辅助系统140可使用户能通过各种模态（例如，音频、语音、文本、视觉、图像、视频、手势、运动、活动、位置、方向）的用户输入在有状态和多轮对话中与辅助系统交互。