🤖 由 文心大模型 生成的文章摘要
VR和360度视频的前提是模拟另一个现实。为了能够实现真正的沉浸，它需要立体的声音来配合强大的视觉效果。人类很依赖于声音定位来确定我们所在的环境，这就是为何沉浸图形同样需要沉浸3D音频来再现自然的聆听体验。如何能够在每个方向都有连续图像的情况下将观众吸引到一个特定的地点是一个巨大的挑战，而声音就可以做到。
创造逼真音频的关键是根据用户的头部方向实时定位以及实时视角来同步音频。这有助于再现现实中的人类听觉机制，让聆听体验更加现实。创建真正的沉浸音频需要几个步骤。首先，你必须要捕捉音频信号，然后混合信号，最后是为听众渲染声音。
捕捉
为了能够在线自然聆听体验，必须使用到两个音频信号——高保真度立体音频信号以及对象音频信号。
高保真度立体音频利用球形麦克风来捕获所有方向的声场，包括听众上方的声音和下方的声音。这就需要将声场麦克风放置在听众所想要聆听的位置。这些麦克风将完整地记录放置地点的所有声场，所以放置他们的地方需要精心考量。还有一点，内容创作者的场景中并没有麦克风，所以我们需要在360度相机底下安放一个麦克风。
除了捕捉来自声场麦克风的音频，内容创作者还需要获得来自每个单独对象的声音作为音频来源。当画面中的物体移动的时候，内容创作者可以将声频附加在这些物体上并且随着物体移动，这能够增加可控度以及灵活性。通过这个对象音频技术，内容创作者可以控制场景中每个物体的声音，并且根据用户的视角来调整这些声音。
捕捉单声道声音也很棘手，因为传统的悬挂式麦克风所捕捉的单声道并不能用在VR中。在同步360声音记录中，没有空间可以悬挂麦克风，所以内容创造者可以使用环形微音器并将其隐藏在说话者的衣服中。
混合
以前声音混合通常是由它的目标扬声器来合成，不过现在的基于对象的音频技术，目标对象的声音可以独立于屏幕，比如当观众看见一直恐龙的时候，恐龙的声音是独立于场景、听众位置，甚至是声音空间。这是有可能实现的，因为你能够将所有的追踪对象通过声频传送到听众那里。而在传统的声频混合中，内容创造者可能还会需要额外的Foley、ADR以及背景音乐追踪才能完成声波场景。
如果你所拍摄的对象和高保真度立体声频是在一起的，请确保高保真度立体声频信号能够涵盖拍摄对象。内容创造者可能还需要额外的工序来移除或者平衡这些对象的声音轨道，以确保他们不会被算两次。
传统上，内容创造者只需要将声频和拍摄图像实时同步即可，这个被成为唇同步。不过电影VR和360度视频中，内容创造者还需要处理声音和图像之间的空间同步关系。比如传统的电影声频中，内容创造者只需要看演员的唇部运动来匹配声频即可。
【913VR原创内容，转载请注明及回链】
