自2021年以来,数字经济与元宇宙产业的发展规划政策相继出台,在元宇宙发展背景下,VR技术成为公认的元宇宙关键入口,同样驶入了发展的快车道。但由于目前VR设备无法像智能手机一样实现大众化普及,因而一些只能通过VR设备才能体验到的内容如VR游戏、VR观影等,仍然距离大众十分遥远。那有没有什么VR内容可以无需VR设备就能体验到呢?答案就是VR直播。
顾名思义,VR直播就是通过虚拟现实技术进行现场直播,与普通2D直播相比,VR直播最大的优势便是真实感和沉浸感。以沉浸式交互体验见长的VR技术将原本就广受欢迎的直播变得更加立体生动且真实可靠,所谓的屏幕不复存在,观众只需一部手机即可实现可以全方位、无死角地观看直播现场,体验到宛如身临其境般的临场感。
CBA首次引入180°立体VR直播技术
虽然VR直播对于观众而言门槛较低,但是对于VR主播来讲可就没那么简单了。与传统直播只需一台手机便可一键开播不同,VR直播对设备的要求更高,且流程更为复杂。
VR主播首先要通过VR相机拍摄采集VR直播内容素材,然后再通过视频拼接将VR相机的每个镜头拍摄的局部画面拼接成完整的VR视频画面,经过拼接的视频内容还需要经过编码压缩、形成视频文件并使用流媒体协议封装后,才能实时推送至网络进行传输。这样一系列的流程走下来,不光耗时耗力,且由于视频的采集、拼接、编码压缩等环节均需在不同设备中完成,这导致最终呈现在观众面前的画面质量急转而下,很难达到理想的直播效果。
考虑到目前VR直播市场对VR设备的一系列需求,国内专注于专业级全景相机研发的沈阳泰科易科技有限公司近期新推出一款专业级VR直播相机——「3D180VR」。据了解,这款VR直播相机目前市场定价为16,900元人民币,其最大的亮点即无需PC便可实现机内8K30帧3DVR直播。
那么这款号称是“VR直播相机中的微单,VR主播的生产力”的VR直播相机实际直播效果及使用体验究竟如何呢?接下来跟随93913的测评体验一起来看看吧!
造型可爱,接口丰富
刚拿到「3D180VR」这款VR直播相机时我便被它圆润可爱的外观所吸引了,不知出于有意还是无意,产品的正面设计颇有些“二次元大眼萌”的既视感,可爱的外观让我印象颇深。
相机整体呈长方体形状,正面配备两个索尼1英寸堆叠式CMOS图像传感器,可以以30fps的速度在相机内进行8K直播;两个镜头下方设置了双麦克,可模拟左右耳立体收声;除此之外产品正面还设置了一块1.5英寸显示屏,在拍摄过程中主播可根据显示屏的画面调整自己的位置和走位。
相机的左右两侧分别为开/关机按键和存储卡卡槽,值得一提的是,除外部存储卡以外,相机本身还内置512GB UFS存储,庞大的存储空间足以满足各种拍摄需求。
相机的顶部主要由拍摄按键、模式切换按键以及指示灯组成,此外,考虑到VR直播需要接入各种外接设备,产品还特意在顶部加装了一块冷靴座。
相机的底部结构较为复杂,正中央是一个用于与三脚架连接的滑块式快装器,两侧的四个接口分别是用于接入全景声设备的USB接口、电源线接口、HDMI接口以及RJ45千兆网线接口。
此外,相机的材质主要为航空铝合金和PC复合材料,整机重量750克,是除Insta360 EVO以外重量最轻的一款VR相机,不过拿在手里还是略有些沉甸甸的感觉。整体来看,产品外观设计简约,平整的长方体设计也更便于携带;按键功能清晰,接口丰富,且外接设备预留模块齐全,产品的可发挥空间很大。
机内直播,轻松上手
别看这款产品的外观人畜无害,其直播功能可是相当强大,「3D180VR」是目前市面上首款无需PC电脑即可实现机内直播的VR直播相机。下面我来针对「3D180VR」可机内直播这一突破性技术优势作一个详细的介绍。
现有的VR直播相机为了满足3D、180度的VR播放标准,也即Google 180VR标准,必须将双鱼眼镜头所拍摄的图像进行拼接,同时进行ERP投影变换,拼接和变换后的视频规格才是符合业界标准的通用180VR格式,可以被国内外视频平台和VR设备播放器所支持。但上述图像处理流程均需通过外接电脑来进行辅助处理,且至少要配备RTX 3080以上的显卡才可运行,目前达到这样配置的电脑起码预算在15,000元人民币以上。
VR相机双鱼眼镜头所拍摄的图像
电脑辅助直播的方式除了成本更高以外,由于图像数据在传输过程中还会受到大幅压缩,这就导致电脑所接收图像的质量远无法达到相机拍摄的原始画质。并且,压缩过的图像数据中很多原始像素点的颜色已经不准确或产生模糊,这就导致生成的ERP图像上的像素点失去了准确的原始参考而变得更不准确,进一步加剧图像质量下降。
针对上述问题,「3D180VR」为VR直播市场推出了一系列人性化解决方案。在使用「3D180VR」直播时,相机内部同时运行着一个内部AI驱动软件,将原本需要电脑辅助操作的步骤全部省去,实现了无需电脑即可完成机内直播。
具体来讲,首先「3D180VR」实现了机内画面拼接,将原本需要借助外接设备进行画面拼接的流程省去,相机可自动完成亮度色彩调整、视频画面对齐、畸变矫正等繁琐的VR视频调节工作,极大地节省了主播的教育成本及设备成本。可以说,这一技术进步在很大程度上降低了VR直播的准入门槛。
「3D180VR」所拍摄的画面
其次,「3D180VR」实现了机内数据处理及图像处理,可自动完成对所拍摄视频的Yuv原始数据进行拼接和ERP投影变换,且相机的数据处理及图像处理码率高达6.59Gbps,能够确保图像高保真输出。目前现有的其他VR相机在直播时则需要通过网线将视频数据传输至电脑进行处理,数据处理效率被大幅压缩,码率仅能达到35Mbps~400Mbps,这意味着「3D180VR」的数据处理能力是其他设备的164倍。
「3D180VR」所拍摄的画面
此外,「3D180VR」实现了音、视频无缝对接,让主播在直播时能够保证音画同步。通常而言,一个完整的直播画面需要分别用相机拍摄视频、用麦克风采集音频,再将音、视频进行对接后才能实现,在这个过程当中,由于音、视频来源于两条不同路径,再加上电脑操作系统的调度问题,最终产出的直播画面往往存在着较为明显的音画不同步现象。而「3D180VR」则将音、视频统一在机内进行处理,同时依靠设备所搭载的RTOS实时操作系统(Real Time Operating System),极大提高了直播画面音、视频同步效率,进一步提升了用户体验。
最后,「3D180VR」实现了左右眼高度合像,解决了ERP图像投影的畸变问题。「3D180VR」在合像技术上采用了ERP投影标定算法,即针对相机内参和外参进行标定,之后再进行投影变换,使每一台相机都能根据镜头和设备安装的误差进行自我调整,以确保最终变换出来的投影图像都能达到标准化水平,降低图像畸变程度,同时保证左右眼达到高度合像,减少图像重影,减轻用户观看直播时的眩晕感。
「3D180VR」通过ERP投影标定算法完成人物合像
总的来说,机内直播无疑是「3D180VR」最核心的优势之一,也是最能够打动我的一大因素。「3D180VR」将原本复杂且繁琐的VR直播流程做到了极简化,让我这样一个VR直播新手也能实现轻松直播,对于那些对VR直播跃跃欲试却止步于其复杂操作流程的主播来讲,「3D180VR」的出现也给他们提供了强有力的支持。
SRT协议,直播互动低延迟
除实现机内直播以外,「3D180VR」的另一大核心优势即支持SRT低延迟直播协议,能将整体直播流程的延迟控制在1秒左右,使VR直播的信息沟通和反馈更加及时有效。
如今,网络带宽技术和视频IP化传输技术均已进入快速发展期,包括直播在内的音视频互联网远程传输应用越来越炙手可热,然而以低端到端延时进行音视频传输却一直以来都是直播行业的一大痛点和难点。
目前广泛应用于直播领域的互联网传输协议是RTMP(Real Time Messaging Protocol,实时消息传输协议),这是Adobe公司提出的一种应用层协议,由于其基于TCP的丢包重传机制和可调缓冲区的能力,所以向来以可靠性著称。因而RTMP很适用于长时间视频播放,即使播放数天也依然稳定。
RTMP协议工作原理
但RTMP协议在直播领域的应用也存在不足之处。RTMP用于端到端视频传输时,需要中转RTMP服务器,传输延时较大,如果使用商用RTMP服务器传输视频,延时甚至可达到几秒或者十几秒,这使得直播的即时互动性大打折扣。
为此,「3D180VR」特意在支持RTMP协议的基础上增加了SRT协议,用户可在RTMP协议和SRT协议之间进行选择。
SRT协议(Secure Reliable Transport,安全可靠传输协议)是一种新的开源标准协议,是一种能够在复杂网络环境下实时、安全、可靠地传输数据流的网络传输技术。SRT在传输层使用UDP协议,虽然UDP协议是一种不可靠传输协议,但是凭借SRT强大的数据恢复机制,配合UDP协议自身速度快、开销低的特点最终实现了SRT安全、稳定、快速的传输效果,可将公网的传输延迟级别控制在1秒以内。
SRT安全可靠传输协议
与此同时,SRT的传输和纠错机制可以最大化利用可用带宽并排除网络错误和干扰,因此可以在同等网络环境下传输更高码率的视频流,配合H.264和HEVC等高效编码格式,能够在不良的网络状况下依然保证视频高品质输出。
基于SRT协议,「3D180VR」最高可将VR直播延迟控制在1秒以内,这一级别的延迟在实际的直播环境中完全可以忽略不计,「3D180VR」使主播和观众之间的互动变得更加及时有效;在确保低延迟的同时,「3D180VR」还最大限度地保证了直播视频的画面品质,进一步提升了主播的直播效率以及观众的观看体验。
「3D180VR」实际使用体验
说了这么多关于「3D180VR」在技术层面上的突破,接下来我将结合数天的使用体验来具体谈谈这款相机在实际直播中的表现,看看其强大的技术支持究竟是空有噱头,还是确有过人之处。
由于这款相机的主要应用场景是VR直播,因此我在拿到产品后第一时间便开始研究怎么用它进行直播。但由于目前VR直播只针对部分MCN主播开放,普通用户并没有VR直播的开播权限,因此我在客服的指引下进行了「3D180VR」的模拟直播体验。
客服首先指引我在手机(电脑也可以)下载了「3D180VR」的专用控制软件,通过相机自带的Wifi即可与手机相连,手机与相机连接后便可从手机屏幕观测相机的画面拍摄情况,同时可远程控制相机进行拍摄或直播。这样的“懒人”操作方式对直播新手来说还是十分友好的。
「3D180VR」电脑端控制软件
通过控制软件,主播可以轻松控制相机在“照片”“视频”“直播”三个模式之间自由切换,且每个模式下都有各自不同的功能选项。直播是这款相机的主推模式,因此功能选项也是最齐全的,主播可根据自己的喜好设置直播协议、直播状态、转码方式、分辨率、码率等,整个控制页面功能齐全、选项一目了然。
「3D180VR」手机端控制软件
除模式切换以外,主播还可以通过控制软件进一步对直播画面的参数以及相机进行设置,所有功能选项将直播时可能出现的问题几乎全部考虑在内,非常人性化,主播在开播前只需根据自己的实际直播情况进行合理设置便可轻松开播。
为了进一步查看实际直播中的情况,我在客服的指引下在PICO 4头显中安装了泰科易专用的直播效果预览软件,然后将头显与相机的网络相连接,就可以从头显端预览实际直播的画面了。
「3D180VR」头显端直播效果预览
通过头显端看到的直播画面并没有出现画面缺失或明显的拼接痕迹等情况,180度的拍摄画面完全填充了整个画框,直播画面看起来干净且清晰。由机内AI拼接的人物合像也毫无破绽,直播画面中的人物并没有出现虚影或重影等情况,左右眼合成的3D效果很明显。并且由于「3D180VR」的视频输出接近原画品质,双目影像呈现更是达到了8K水平,因而拍摄画面在很大程度上保留了原有的细节和色彩,甚至当我在距离相机一米以外举起手时连掌纹都清晰可见。
「3D180VR」拍摄的VR直播画面
此外,「3D180VR」内置的AI智能美颜功能也让我感到十分惊喜。尽管我所处的拍摄环境光线较暗,但在直播画面中我的皮肤细节仍然得到了较好的美颜处理,脸上的雀斑、痘痘几乎都不见了,整个面部看起来非常光滑细腻。不仅如此,我还可以在控制软件中手动调节瘦脸、大眼、美白等各项美颜参数,设置不同风格的美化滤镜,这一功能对于颜值主播来讲的确提供了极大的便利。
接下来我们再来看看「3D180VR」在实际直播过程中的延迟情况。「3D180VR」支持多种直播协议,为了更好地做出比较,我分别在SRT和RTMP两种协议下进行了直播,实际测试了两种协议各自的延迟情况。
SRT协议下的直播延迟
RTMP协议下的直播延迟
从测试可以看出,「3D180VR」在两种常用协议下直播的延迟情况均表现良好,SRT协议下的直播延迟基本可控制在1.2秒左右,RTMP协议下的直播延迟也基本可以控制在1.5秒左右。
直播中最为关键的要素之一便是实时性,直播的延迟水平在很大程度上决定了主播与观众之间的实时互动质量。在产品体验期间,我也观看了很多VR主播的直播,在我与主播的互动过程中,我能明显感觉到我们之间的延迟起码达到了3-4秒左右,无法实时互动不仅影响了我的观感,主播的直播控场能力也大打折扣。由此可见,「3D180VR」的低延迟直播能力也是其可圈可点的优势之一。
此外,在观看VR直播的过程中,我发现很多主播会在直播过程中进行跳舞或运动等较大幅度的肢体动作,但一些动作由于幅度较大且速度较快,会出现很明显的动作拖影。而我在产品体验过程中发现,在「3D180VR」控制软件的参数设置中专门设置有舞动模式这一选项,用户可根据自己动作的大小、快慢选择高速舞动模式或极速舞动模式。
为了测试这一功能的实用性,我在极速舞动的拍摄模式下对着镜头做出了大幅度且快速摆手的动作,尽管这一动作在我肉眼观测下都已出现了残影,但「3D180VR」却依然极为精准地捕捉到了清晰的手部画面,无论我挥舞的多快也都没有在直播画面中发现明显的拖影情况。
在实际体验过程中,「3D180VR」的续航能力也比较出色,相机内置3500mAh大容量电池,支持外接移动电源,长时间户外直播也不在话下。唯一让我感到美中不足的就是「3D180VR」的散热能力并不是很好,设备在使用半小时左右便会感觉明显发烫,且在发烫后关机的情况下也至少需要20分钟左右才能彻底降下温度。
结语
总的来说,在我为期10天的体验过程中,并没有感觉到「3D180VR」有什么明显的缺陷,相反,这款产品所体现出的强大功能和贴心细节深深打动了我,也让我感受到了泰科易对产品品质以及人性化设计的追求。
在查阅资料的过程中,我看到了泰科易CEO王磊在其个人微信视频号中所说的一句话——“我坚信能够打败‘聪明’的,只有‘足够的愚蠢’”,在我看来,「3D180VR」就是这一观念的完美诠释。
作为一款VR相机,「3D180VR」不仅拥有强大的拍摄能力,还以一己之身包揽了直播流程中的诸多环节,不仅为主播入门VR直播降低门槛,还极大地提升了观众的观看体验。这款足够“愚蠢”的懒人VR相机同时也足够真诚,「3D180VR」以其强大的易用性和更加人性化的设计重新定义了VR相机。
目前,「3D180VR」已面向VR内容创作者们推出,无论是直播还是视频,「3D180VR」都可以让用户随时随地享受到极致的VR体验。我们也相信「3D180VR」将为VR直播行业创造更多可能,为观众带来更加深度沉浸的观看体验。