据RoadtoVR报道,WWDC 2022期间,苹果宣布iPhone用户将能基于iOS 16扫描耳朵形状,以创建更准确空间音频。相比之下,由于需要复杂的设备,为消费者创建的自定义“HRTF”曾被为是不切实际的,而如今,随着计算机视觉技术的进步使得该功能更容易实现。
当涉及数字空间音频时,在不考虑用户头部和耳朵独特形状情况下,音频“位置”或“3D”感精确度是有限的。
因为每个人都有一个形状独特的头部,尤其是耳朵,因此来自现实世界的声音会以不同的方式反射至耳朵。而为了创建高精度数字空间音频感,往往需要一个能够解析声音因素的模型,即塑造一个将音频与用户头部和耳朵相融合的数学模型。为此,听力学家用一种名为“头部相关传递函数(HRTF)”的数学模型描述了这一现象,基于HRTF,数字音频则可以被修改,以复制个人耳朵特有的空间音频提示。
尽管如今实时应用HRTF技术已容易实现,但仍然存在一个问题,每个人都需要定制化HRTF,这涉及准确测量每个人的每只耳朵,倘若没有专门的设备,则很难施行。
而现在,苹果表示,其将基于最新iPhone的先进传感器,支持用户扫描头部和耳朵,并根据扫描数据创建自定义空间音频配置文件。
苹果并不是第一家基于计算机视觉耳朵模型定制HRTF的公司,但苹果将该技术内置至iOS中必然会促进这项技术的广泛采用。
WWDC 2022主题演讲期间,苹果正式宣布该功能是即将推出的iOS 16更新的一部分,iOS 16更新将于今年晚些时候发布,该功能将支持在带有TrueDepth相机系统的iPhone上运行,包括iPhone 10及更高版本。
但是,仅仅依靠一个准确的耳朵模型是不够的,苹果还需要开发一种自动化流程以模拟真实声音与独特几何形状耳朵的交互方式,最终,这项功能将会为iPhone(未来也将应用于苹果AR/VR头显)带来更精确的数字空间音频。
这将与苹果产品现有空间音频功能相适配,特别是与AirPods一起使用时,AirPods可以追踪用户头部运动,以使用户获得相应的空间音频体验,另外,iOS和MacOS都支持“开箱即用”空间音频——采用标准音频并使其听起来好像来自房间中的扬声器,并准确播放专门为空间音频制作的声音,例如Apple Music的杜比全景声(Dolby Atmos)曲目。
此外,该功能还有另一个潜在用途,如果苹果支持用户下载自定义HRTF配置文件,或也支持该文件配置于其他设备(例如苹果AR/VR头显)。