马克思曾经说过，音乐是人类的第二语言。
19世纪到20世纪，音乐的载体经历了从留声机、唱片机、磁带录音机、CD播放器到MP3播放器的长足发展，人们为了能够随时随地享受喧嚣退去后音乐带来的愉悦，发明出了锡箔滚筒、黑胶唱片、磁带、CD、数字音频文件等多种多样的播放介质，并仍在探索更多呈现音乐的形式。
VR作为一种新兴的媒介，也是音乐艺术家们正在探索的前沿领域之一。VR更具沉浸感和表现力的特点，能够更好的呈现音乐艺术家们想要表达的情感与场景，从而引起听众的共鸣。
在VR刚刚进入大众视野的那几年，已经有不少音乐艺术家开始推出在VR中播放的MV。2015年瑞典音乐家Aviici推出了以门为中心的舞蹈狂欢MV「Waiting For Love」，这也是全球首支利用YouTube全景视频功能播放的MV。
▲图源：网络
同年，The Weeknd推出了一支利用Go Pro拍摄的全景MV「The Hills」，打造了令人震撼的爆炸场面。
▲图源：网络
2017年，华纳唱片为林俊杰和张榕荣量身定做了360度全景视频MV「弹唱」，演绎了一段甜蜜温暖的爱。
▲图源：网络
随着制作理念的进步与制作技术的发展，VR音乐视频（VRMV）的形式变得越来越多样化。在2018年的圣丹斯国际电影节上，Tyler Hurd与Adam Roger携手Within，以歌曲「Justice」为背景制作了可供6人同时进入的VR音乐社交体验。
▲图源：网络
人们也开始探索通过实时演出的形式，为观众们带来精彩的音乐现场表演。2021年11月18日，Justin Bieber在Wave中举办了一场演唱会，通过自己的虚拟形象演唱了其最新专辑中的歌曲。尽管Justin Bieber通过动捕服进行了实时的表演，观众们却依然只能通过Wave官网或者移动客户端收看平面的视频并送上一些烟花，并没有真正进入到演唱会所在的虚拟世界中。
▲图源：网络
但在不久前开幕的2022砂之盒沉浸艺术季（SIF 2022）上，著名音乐制作人闫津和华语唱作人肖懿航组成的双人乐队——电气樱桃通过双人实时动作捕捉呈现了一场VR音乐Liveshow，让观众们能够同时在现实中与VR虚拟世界中观看这场演出，从而感受到VR这一媒介的新边界。
虚拟与现实同赏的「真•VR演唱会」
▲左：肖懿航，右：闫津
7月28日晚9时，电气樱桃在阿那亚社区蜂巢剧场正式开演。尽管场外下着瓢泼大雨，场内却几乎座无虚席。电气樱桃在现场一共演唱了《宝贝，我听到银河的声音》、《Moi》与《Entangle in the Folds of Mood》三首歌曲，闫津与肖懿航穿着动捕服在台上进行现场演出的同时，身后大屏幕上放映出了「大千」平台同步在线直播的演出画面——离蜂巢剧场不远的海边排练场中，十几位嘉宾正戴着头显在VR中观看着这场精彩的演出。
「大千」中闫津和肖懿航的Avatar形象与现场的表演同步而动，现场的观众们与「大千」中的嘉宾们一同感受着优美的音乐与歌声。而不同之处在于，「大千」中的嘉宾们身处的环境还会随歌曲的主题发生变化，呈现出符合歌曲意境的虚拟场景，氛围感更为出众。
▲嘉宾们通过「大千」在VR中观看电气樱桃演唱会直播
这场新奇且充满科幻感的演出，得到了观众们的热烈响应，也为线下与线上同赏的演唱会开辟了一种全新的形式。同时呈现的虚拟与现实演出场地，让观众与演出者之间的互动不再被距离所束缚，即使相距万里，大家也能身处同一虚拟空间中，像线下面对面的演出一样共同融入到演唱会现场的热烈氛围中。
▲演唱会在VR中的呈现
电气樱桃这场VR演唱会的背后，是「大千」与沙核科技攻克的许多技术难题。
云技术加持，做每个人的「大千」世界
根据沙核科技的介绍，为了呈现这样一场演出，需要解决两大问题：
一是如何在双人动捕数据量加倍信号干扰更严重，且需要面对复杂网络环境的情况下，保证海量动捕数据传输的实时性与稳定性，防止不同步和其他运算偏差的情况出现；
二是如何向身处全球多地、使用各类不同设备观看演出的观众们提供几乎一致的高品质VR体验。
为了对抗复杂网络环境保证双人实时动作捕捉的稳定性，「大千」结合了WiFi 6与5G通信技术，在演出现场近百部手机信号与数个WiFi网络信号覆盖场地的复杂情况下，确保了双人实时动捕数据传输的低延时与稳定，从而让大荧幕中虚拟角色的动作能够与现场演员的动作保持同步，带来了极佳的演出效果。这正是「大千」解决的第一个技术难题。
▲闫津身着黑色动捕服
而面对跨平台的全球同步直播难题，沙核科技的答案是——云技术。一方面，通过集成英伟达 NVIDIA CloudXR的平行云Lark XR 平台，「大千」将画面渲染的工作放到云端，结合英伟达的GPU虚拟化软件实现了云端服务器算力的动态调度与有效扩展，让各种类型的XR设备能够摆脱性能的限制，只要能够显示云端流式传输的画面，就能呈现最佳的VR画面渲染效果。
在此基础上，「大千」还优化了Cloud XR的流式视频传输功能，减少了视频流的带宽占用，提升了同一网络环境下能够支持的终端设备数量。此外，沙核科技还联合阿里云、亚马逊云科技在亚洲、美洲与欧洲设立了多个全球节点，实现云渲染服务器节点的高效调度与数据传输，让用户能够始终与延迟较低且稳定的云端节点动态建立连接，上传VR头显姿态数据并获得渲染画面的推流，从而减少设备使用过程中卡顿、眩晕等状况的出现，也保证了全球各地的用户都能同步享受精彩的高质量实时演出。
而针对蜂巢剧场的这场演出，「大千」还专门根据现场的运营商公网条件与局域空间信道环境，重新定制化设计了整体网络方案，并创业界纪录的实现了同一狭小空间内15台无线VR设备同时上线，并稳定流畅的保障了全场观众完整的观看和体验虚拟直播演出的全程。
至此，「大千」已经集成了云端渲染、本地与混合渲染的全案规划能力，可以根据场地、设备、资金、技术等状况，灵活的实现任意条件下的专有优化部署，适用于各种需要为全球范围用户以及限定空间内多设备线下店带来高质量无线实时VR体验的场景。
虚拟娱乐新潮流
通过动捕服实时呈现的VR演唱会，不仅让观众们耳目一新，也为音乐艺术家与创作者们带来了新的思路。
电气樱桃的肖懿航老师在演出结束后的座谈环节表示，VR是一个充满了幻想的世界，带来了无限的艺术表达新形式。在虚拟世界中的演出能够让她放开包袱，尝试更多与以往不同的表演风格，也有机会让自己化身梦想中的形象，塑造另一个自我。
▲从左至右：肖懿航、闫津、戈非、楼彦昕
电气樱桃所在厂牌草台回声的创始人戈非也提到，这次电气樱桃与「大千」平台的合作，是一次新方向的有益探索，草台回声将与沙核科技继续尝试不同虚拟演出的形式和内容，为未来可以在虚拟空间做完整的互动音乐演出和音乐节做准备。他也希望通过打造更多类似的合作案例，来帮助音乐人和从业者了解到XR技术将为音乐领域所带来的机遇与改变，与大家一起持续探索音乐行业未来发展的新方向。
当然，虚拟娱乐的发展，绝不仅仅关乎音乐。斩获SIF 2022主竞赛单元砂之盒最佳叙事奖（Best Immersive Story）与Pico×SIF VR新锐作品奖的获奖作品「夜的尽头（End of Night）」，也为我们展现了另一种进入虚拟世界的方式。这部作品通过体积视频（Volume Video）的方式，将捕捉的真实影像与场景特效完美的融合在了一起，通过真人的形象引导观众体验了一段宏大的剧情。
一虚一实，一幻一真，「真•VR演唱会」与「体积视频」，或许正是虚拟娱乐两个主要潮流的具现，而我们透过电气樱桃在「大千」平台的演出与SIF 2022主竞赛单元的获奖作品，已经瞥到了这浪潮中的一缕端倪，正如沙核科技创始人楼彦昕所说：“沉浸式媒介所带来的新体验，是突破主观现实包围的体验。”
我们也期待着「大千」与SIF，能够为我们呈现更多艺术与娱乐的新潮流与新边界。
