谷歌团队深度解读Jump的工作原理

🤖 由 文心大模型 生成的文章摘要
谷歌 Jump 是谷歌在 2015 年推出的虚拟现实视频制作平台,由一个开放设计的相机设备、一个可以把原始画面变成虚拟现实视频的汇编程序和视频播放平台组成。近期,谷歌发表了一篇题为“Jump:VR视频”的研究论文,论文中谷歌分享了自己的学习成果,谷歌还将在 12 月份举办的 SIGGRAPH 亚洲会议上带来该论文的主题演讲。SIGGRAPH 是计算机图形学(CG)最权威的国际性重量级盛会,也是迄今为止世界上影响最广、规模最大,也是最权威的集科学、技术、艺术、商业与一身的 CG 展示和学术会议。
针对 Jump,谷歌创建了全向立体视频系统(ODS),ODS 可以提供一个 360 度和 3D 立体的无缝拼接投影,允许用户以任意方向观看。此外,ODS 还可以采用传统视频格式进行存储,以便后期制作和使用普通播放器播放影片。尽管 ODS 投影模型已经存在一段时间,但是使用 ODS 制作 VR 视频仍然面临很多挑战。
首先,ODS 最初并不是针对虚拟现实而设计的。而当戴上虚拟现实头显播放视频时会出现图像失真,这会导致我们的大脑很难对左右眼睛看到的图像进行合成。谷歌对这些失真进行仔细分析,确定距离和视角的实际极限,以此确保为用户带来一个舒适的观影体验。
其次,目前也没有可用来制作 ODS 视频的现成系统。谷歌通过仔细分析所需的摄像头数量,视场角和设备的大小等参数之后,最终确定了 Jump 的最终组合形态(16个摄像头是最佳设计)。GoPro Odyssey 的设计也是采用这种分析方案。当然,该方案首先是应用于 Jump。
最后,在多摄像头的情况下进行无缝拼接视频是极具挑战的。为此,谷歌开发了一个算法,可以自动无缝拼接高质量的 ODS 视频。而这个算法的核心就是 Jump Assembler 汇编程序,它可以进行数百万的帧处理。
以下是一些关于 Jump Assembler 工作原理的动态演示:
Jump当用户的头部以任意方向观影时,ODS 投影在接近用户视野处生成一个虚拟马赛克,从而提供一个 360 的视频体验
Jump部分 ODS 投影可通过 Jump 的摄像头进行捕捉,而捕捉到的这部分影像通过“视图插值”算法来进行合成
PS:视频术语解释
Input Sequence:输入序列
Coarse Alignment:粗对准
Per-pixel Flow:每像素流
Per-frame Flow:每帧流
Temprally Consistent Flow:时间一致流