Apple Vision Pro全新创建逼真虚拟化身专利公布

美国专利局公布了Apple Vision Pro创建逼真虚拟化身全新专利，涉及在计算机生成的内容中代表用户的系统、方案和设备。

苹果发明涵盖了生成一组值的设备、系统和方法，这些值表示用户面部在某个时间点的三维（3D）形状和外观，以用于生成用户表示（例如，化身）。

更重要的是，一组点是在与另一台设备进行通信会话（FaceTime）期间发送的一帧3D视频数据，而另一台设备使用这组值，例如RGBDA信息来渲染用户脸部的视图。

在一些示例中，面部数据的连续帧（表示用户面部在不同时间点的3D形状和外观值的集合）可被传输并用于显示实时3D视频状面部描绘（例如，真实的移动的面部）。在一些实施方式中，用户的描绘被实时显示（例如，在第二用户的第二设备的显示器上向第二用户示出的化身）。

从技术上讲，在一些实施方式中，具有非平面形状（例如，圆柱形）的表面可用于减少失真。该组值包括定义面部部分相对于表面的多个点（例如，部分圆柱形表面网格中的点）的深度值。

与3D网格或3D点云相比，该组值以更少的计算和带宽，同时能实现比RGBDA图像更准确的用户表示。此外，该组值可以类似于现有格式（例如RGBDA图像）的方式被格式化/封装，从而与基于此类格式的系统更有效集成。

在一些方面，HMD包括一个或多个面向内的图像传感器和一个或多个面向下的图像传感器，并且传感器数据由一个或多个面向内的传感器和一个或多个面向下的图像传感器捕获。

苹果专利图8说明了创建逼真3D化身的关键设备是Apple Vision Pro（HMD），该专利也适用于iPhone、iPad和Mac；图4示出了生成和显示用户面部的部分示例。