玩出梦想MR亮相新加坡:AVP的空间计算独角戏,终于迎来重量级对手

🤖 由 文心大模型 生成的文章摘要

在数字化时代,空间计算以其革新性的交互体验和巨大的市场潜力,正成为科技领域新的关注对象。它不仅预示着信息获取方式的变革,更承载着数字化转型的未来。

空间计算并非是对XR技术的简单包装,而是以3D为中心对计算形式的重构,其核心是使用AI、计算机视觉(CV)和扩展现实技术,让虚拟的体验摆脱屏幕的束缚,融入到现实的世界中。

正如「The Infinite Retina」一书中所写,“随着空间计算,即第四范式的出现,计算不再局限于小屏幕,而是无处不在。我们将空间计算定义为人类、虚拟生物或机器人能在其中自由移动的计算,包括此前曾被定义的环境计算、普适计算或混合现实等等多种概念。”

2023年6月,苹果在WWDC上发布的Vision Pro,向人们展示了「七年磨一剑」的高水准空间计算硬件,为「空间计算是下一代计算平台」的论断提供了强有力的背书。

而聚焦国内,多家XR厂商纷纷宣布跟进空间计算,并在硬件上向苹果看齐。在这些厂商中,走得最快的无疑正是「玩出梦想科技」。

2023年9月,玩出梦想科技追随苹果Vision Pro的步伐,宣布完成品牌和产品线升级,由之前单一的VR产品线延展到以空间计算设备为核心的多产品线发展。短短10个月后,玩出梦想科技的空间计算Level Up战略,就已经率先开花结果。

2024年6月25日,玩出梦想科技在新加坡举办全球新品发布会,推出了全球首款安卓系统空间计算机——玩出梦想MR。这也是目前市面上,第一款能够在核心指标上与苹果Vision Pro对标的一体式空间计算设备。

▲玩出梦想科技创始人 黄锋
▲玩出梦想科技创始人 黄锋

玩出梦想科技创始人黄锋在发布会上表示:“人类已经不再满足于二维信息,信息的载体正在从二维走向三维。移动互联网的下半场,恰恰是空间计算机的上半场。空间计算蕴藏巨大的商业机会,所有的二维应用都将迎来三维的升级迭代。”

巧合的是,苹果Vision Pro将在3天后,于6月28日正式在中国、新加坡与日本发售。这也让我们不禁好奇,当玩出梦想MR正面遇上苹果Vision Pro,是否会擦出什么别样的火花。

93913有幸提前体验到了这款空间计算机,并和玩出梦想科技首席技术工程师张腾博士、玩出梦想科技CMO朱然,聊了聊玩出梦想MR诞生的幕后技术故事。

对标苹果Vision Pro,玩出梦想MR实机体验究竟如何?

6月14日上海的玩出梦想科技总部,我们在大约20分钟的时间里,体验了玩出梦想MR这款设备方方面面的功能。

需要提前说明的是,我们体验到的玩出梦想MR仅是一台工程机,有部分功能并未开放。仅从我们体验到的部分来看,玩出梦想MR是目前国内最高水准的空间计算机,在视觉、追踪与三维重建等核心功能和体验上,已经能够接近或持平苹果Vision Pro,虽然存在一些优化中的细节,但等到这台空间计算机正式开售时,我们相信会有令人惊艳的使用体验提供给消费者。

此外还要说明的是,因保密的需要,这次体验现场无法拍摄任何照片,这里只能以文字的形式来向大家说明。

▲发布会现场展示玩出梦想MR
▲发布会现场展示玩出梦想MR

首先聊聊佩戴感受,玩出梦想MR采用了后置电池的设计,因此拥有了更好的重量平衡,戴在头上相比Vision Pro而言没有那么压脸,转动也更加自如。在20分钟的使用时间里,我们没有感受到任何的负担,在摘下头显时,也没有出现摘下Vision Pro时那种如释重负的轻松感。

当玩出梦想MR的画面点亮后,我们可以通过其彩色VST功能看到周围的环境。得益于双目8K Micro-OLED屏幕带来的超高分辨率,从视觉效果来说玩出梦想MR算得上目前国内彩色VST做得最好的一台设备,做到了让现实世界通过屏幕清晰的呈现在眼前。

我们戴着玩出梦想MR四处走动、快速的转动头部也不会出现眩晕的感觉,可以轻松的拿取现实中的任何物品,这足以证明其对延迟和畸变的处理非常优秀。在清晰度、延迟和畸变方面,玩出梦想MR可以说与苹果Vision Pro几乎不相上下。

交互方面,玩出梦想MR也向Vision Pro看齐,在设备右上方的位置设计了一个可旋转的按钮,按一下即可呼出主菜单界面,也可以旋转调节音量和沉浸环境。

App的关闭、移动和缩放UI、主菜单圆形的图标与三行式的排列也充分的说明了这是一款全面对标Vision Pro的产品。

玩出梦想MR不仅具备眼球追踪和手部追踪功能,同时还能够支持手柄交互。这一点在玩出梦想科技更早推出的设备——YVR 2上搭载的手部追踪功能就可见一斑。延迟不高并且十分稳定,相信这一功能在硬件规格更高的玩出梦想MR上也会有相同甚至更好的表现。

在SLAM和手柄追踪方面,玩出梦想科技的YVR 1和YVR 2两台VR一体机此前就已经给我们留下了深刻的印象,玩出梦想MR同样延续了这一优点——定位精准,低延迟不漂移,手柄交互如臂使指。

精准的SLAM能力是实现空间计算的必要条件,而手柄的准确低延迟定位对于需要操作精度和反应速度的沉浸式游戏等娱乐体验来说,无疑加分不少,也让玩出梦想MR能够胜任从生产力到游戏娱乐的广泛使用场景。

另一个对于空间计算来说十分重要的能力——空间锚点,玩出梦想MR表现同样优秀。在现场的体验中,房间内的墙壁上被锚定了一个虚拟的鱼缸和一块虚拟的屏幕,无论如何走动,这两个虚拟物体都能稳稳的固定在原位。根据现场工作人员的介绍,目前玩出梦想MR的空间锚点可以达到亚厘米级的精度,在数百平方米的范围内随意移动不会丢失。

伴随着空间锚点体验而来的,是对于空间音频的支持。当我们靠近场景中的虚拟屏幕或者虚拟鱼缸时,声音的大小和指向的方向也会跟随着距离和方位的改变发生相应的变化,增强了空间应用的沉浸感。

内容和应用方面,我们分别体验了空间观影、空间游戏、3D空间拍摄和轻办公,从我们体验到的部分来看,这些内容和应用与Vision Pro上的基本处于同一水准。

空间观影支持8K分辨率的视频播放,在空间音频的加持下能够很好地满足沉浸式观影的需求。据悉,玩出梦想科技已成为IMAX以及DTS在空间计算及混合现实领域的全球首个战略合作伙伴,这更令人期待新品正式发售后将带来的空间观影与视听体验。

此外,空间游戏定位稳定交互流畅,加上高清晰度、低延迟彩色VST,提供了打破虚实的空间游戏体验;3D空间视频录制和回放立体感出色,还在拍摄中加入了防抖和美颜功能,更适应国内消费者的需求;大屏办公实现了与PC间的低延迟无线串流,文字等内容显示清晰满足办公需要。

值得一提的是,尽管双目8K的分辨率对于芯片的渲染性能带来了极大的考验,但玩出梦想MR在第二代高通骁龙XR2+的加持下,最大程度的保证了内容和应用的高帧率运行:无论观影、空间视频拍摄还是空间游戏,整个体验的过程十分丝滑,没有出现卡顿的情况。

「为用户提供美好体验」,用技术驱动空间计算的用户价值

在探讨计算范式的演进时,我们见证了从PC时代到智能手机时代,再到当今备受瞩目的空间计算时代的重大转变。每一次技术的飞跃,不仅仅是设备的更新换代,更是人类与信息交互方式的革命性演进。

PC时代,人们在固定的工作站前与数字化信息进行交互,信息呈现为静态的二维平面,交互模式相对单一;手机时代,技术的演进打破了空间的限制,使得信息获取和处理变得随时随地,交互方式更加个性化和即时化,尽管信息的呈现依然以平面为主;而到了空间计算时代,它将彻底重塑我们对信息的感知和操作。在这个时代,三维信息的无缝获取和处理将成为可能,打破现实与数字世界的界限,重构我们的生产工具和娱乐方式。

这与玩出梦想科技创始人黄锋打造玩出梦想MR的理念不谋而合:站在科技与人文的十字路口,为用户提供美好体验,也就是TPMF(Technology product market Fit),就是技术产品市场契合度。从用户价值角度来说,就是应当帮助用户提升效率、为用户创造快乐。

在具体的实现路径上,玩出梦想科技所走的,是技术驱动产品,这也是刻在玩出梦想科技骨子里的DNA。

自2020年创立以来,玩出梦想科技在四年的时间里发布了三款自研XR设备,在头手6DoF、VSLAM、光学等领域均采用自研方案且达到了全球领先水平。团队研发人员占比高达70%,涵盖算法、硬件、光学、工业设计和软件等领域,是全球领先的拥有全栈研发能力的空间计算机企业。

在采访中,玩出梦想科技首席技术工程师张腾从提升效率和创造快乐两个方面,向我们阐述了一台顶尖空间计算机的诞生过程。

在张腾看来,玩出梦想科技为空间计算机构建了三大基础能力:

第一个能力是让设备感知人的操作意图的能力,需要被称为跟踪模块,包括头部跟踪、手柄跟踪、手部26DoF跟踪、眼动跟踪这些底层技术;

传统的SLAM技术一直是玩出梦想科技的强项,其自研水平在国内厂商中处于领先地位。而在新一代的空间计算机产品中,除了优秀的SLAM能力,高精度的眼动追踪也将成为标配,并且眼动与手势的结合会成为交互设计的工作重点之一。

具体而言,高精度的眼动跟踪可以帮助进行应为预测、实现小样本的身份识别,让用户在佩戴设备时免去手动输入密码登录的过程,还可以进行注视点渲染,大幅度降低GPU及其他计算资源的消耗,也能够解决游瞳问题,让用户看到的画面更加真实自然。

玩出梦想科技一直以来拥有深厚积累的手柄跟踪能力也没有被剔除出整个交互体系外。在需要低延迟和超高精度的应用中,如第一人称射击游戏,张腾认为手柄仍然是必不可少的,因此被保留。

第二个能力是把现实世界数字化的能力,对应玩出梦想科技开发的空间视频和地图模块。这一能力让用户戴着头显时能够和周围的环境发生自然的交互,是玩出梦想科技进军空间计算的初心。

想要和周围的环境进行互动,需要通过传感器感知到周围的环境以后很快地形成地图。玩出梦想MR共搭载11个摄像头,7类传感器,22个红外补光灯,带来了更好的设备感知能力,可以生成由点云、网格和语义标签组成的空间地图数据。

张腾认为,空间视频和地图模块都是具有天然LBS属性的功能,二者结合可以提供数字资产保存、读取和分享的能力,也是玩出梦想科技正在着手的事情。

此外,高质量的VST功能也必不可少。玩出梦想科技想要达成的,是让VST显示人眼应该看到的内容,而不是摄像头播放的内容。

玩出梦想MR使用了3200万像素的高清3D相机,并通过优化软件链路、利用屏幕特性和卷帘快门相机特性,实现了能够1:1真实还原物理空间的14ms超低延迟VST功能,十分接近苹果Vision Pro在M2+R1芯片下达到的顶尖水准。

第三个能力是高质量的视觉体验,也是玩出梦想科技一直以来自研光学的出发点。

视觉体验的基础是屏幕和光机,光机是玩出梦想科技看重的核心技术领域之一。玩出梦想MR采用了目前业界最前沿的4K分辨率Micro-OLED屏幕和自研全树脂4P Pancake光学方案,双目像素达2700万,PPI达3882,中心区域PPD更是高达 45,希望给到用户最好的视觉效果。

行业现存的4K光机方案在边缘清晰度、边缘畸变程度等关键指标上无法满足玩出梦想科技对于空间计算机的期许,同时光机也需要结合眼动追踪等技术才能达成最佳的效果,因此从长远出发,玩出梦想科技始终坚持光学方案自研,这是玩出梦想科技最重要的技术壁垒之一。

▲玩出梦想科技自研全树脂4P Pancake光学方案
▲玩出梦想科技自研全树脂4P Pancake光学方案

玩出梦想科技还实现了空间计算系统级逐台显示标定方案,对每一台玩出梦想MR进行色彩精准度和几何精准度的测试,确保双屏色温亮度一致和完美合像,实现了将数字信息精确的显示在指定的位置上。

在这三点之外,玩出梦想科技还做了更多的底层技术研发,来保证空间计算机的体验。

芯片层面,玩出梦想MR在如何发挥出第二代高通骁龙XR2+全部能力上,做了一系列的系统性工作,首先是前文提到过的结合眼动追踪优化注视点渲染能力,其次是实现了与ATW、ASW相近的画面插帧补帧技术;最后是实现计算资源的合理分配,充分利用芯片中DSP、NPU的异构运算性能,从而实现更高的运算效率。

同时,玩出梦想科技也在尝试将更多AI的能力融入到这台空间计算机中

传统的AI能力主要应用在计算机视觉领域,在深度计算、地图还有语义标签等空间计算的底层技术,以及手势、眼动、手柄等交互技术中,已经发挥着重要的作用。

针对近年来火热的生成式AI,玩出梦想科技也在将其与空间计算相结合。例如在空间照片方面,玩出梦想MR就基于生成式AI实现了2D照片转空间照片的功能,在空间视频方面,玩出梦想MR会推出立体视频稳像效果,也是运用到了生成式AI的能力。

玩出梦想MR还基于更广义的生成式AI构建了AI智能助手,实现了部分空间计算的交互功能,不仅可以进行语言交流,还能够进行音乐创作和文字绘画。未来,玩出梦想科技将致力于集成更多AI技术到产品中,让用户体验到与手机、PC等二维信息载体不同的AI交互体验。

▲AI智能助手 小狐同学
▲AI智能助手 小狐同学

这些技术底座,为玩出梦想MR帮助用户提升效率提供了有力的保障,而要实现「创造快乐」,玩出梦想科技在生态和技术两个方向也都做了精心的布局。

“用户真正需要什么,如何带来更优秀的用户价值”,是玩出梦想科技在构建内容生态时持续思考的问题。

站在用户的角度思考,更多、更高质量的可用内容,才是吸引消费者购买设备的根本所在。

在此前两代产品中,玩出梦想科技采用的是精品化的引入战略,目前商店在架应用数量已经超过300个,覆盖全球近百家CP厂商和优势开发者,并取得了不错的成果。

“影音层面,爱奇艺、移动云VR的用户平均使用时长每周可以达到数十小时,这类用户关注的更多是3D立体的视觉效果和海量视频内容。这也是当前空间计算时代沉浸式观影给大家带来的全新视觉冲击力和体验;游戏层面,《灭亡之后:凛冬》《玩命特攻》《梦境世界》等优质游戏也各自吸引了一批忠实的用户”,朱然介绍到。

而针对玩出梦想MR这款空间计算机新品,玩出梦想科技除了坚持精品化引入战略,从技术层面出发也做了大量的工作。

玩出梦想MR运行的是专为空间计算打造的Dream OS操作系统,这套操作系统基于安卓AOSP开发,进行了大量针对XR空间计算的优化,从而实现对原生MR应用、2D安卓应用以及与其他设备互联和投屏的支持。

MR原生应用方面,玩出梦想科技向开发者提供了完善的SDK,支持多种引擎,让开发者能够调用各种空间计算的能力对设备进行适配;

朱然还重点提到了玩出梦想MR对于空间视频能力的打造:玩出梦想MR可以兼容主流的3D拍摄素材,在早期空间视频尚不能普及时,解决内容短缺的问题;未来随着空间视频普及化、社交化,将具备更强的分享属性,这时玩出梦想MR的空间视频能力将成为开发者的助力,帮助他们在这片蓝海市场里取得成功。

2D安卓应用方面,玩出梦想MR实现了对传统安卓应用的运行和交互适配,并且基于空间计算的需求,延展了多窗口的操作管理和注视焦点的切换功能,进一步丰富空间计算机的可用内容生态。

与其他设备的互联和投屏支持方面,玩出梦想MR致力于改善头显的信息孤岛问题,让用户能够更长时间使用,并且在需要使用传统电子设备时无需摘下头显。前面提到的大屏办公体验,就是依赖于这一点所实现的。

出海元年,新加坡开启玩出梦想科技全球化战略

在6月25日的新品发布会上,除了发布玩出梦想MR,玩出梦想科技另一个值得关注的举措,是以新加坡为起点将业务范围辐射东南亚,正式开启全球化战略。

朱然告诉我们,今年是玩出梦想科技正式出海的元年,之所以将发布会放在新加坡举办,是因为玩出梦想科技选定这座城市作为亚太地区的市场总部。玩出梦想科技第一批进入的海外市场是新加坡、马来西亚,接下来可能会向泰国、印尼、越南和日本市场进军。

探究这一举措的原因,朱然表示,市场调研数据来看,新加坡月收入平均数超过3万元人民币,消费能力较高,因此玩出梦想MR的价格区间对于新加坡用户来说相对友好。

玩出梦想科技此次开辟新加坡业务,有利于开拓广袤的海外市场,更好的帮助企业成长。

巧合的是,苹果于6月28日第二批正式发售Vision Pro的国家,也正是新加坡、中国和日本。

面对与Vision Pro的竞争,朱然认为,苹果进入中国市场和新加坡市场,其对市场的大规模教育作用将会令玩出梦想科技这样的创业型企业获益。玩出梦想科技将着力做好产品和品牌的差异化,来赢得市场细分领域的用户群体。

抓住短暂时间窗口,用长期主义对空间计算全力以赴

根据研究机构Market.US在2024年3月发布的一份报告显示,全球空间计算的市场规模(包含VR、MR、AR、物联网、人工智能等)将从2023年的1426亿美元,增长到2032年的6202亿美元。

但在玩出梦想科技看来,真正留给空间计算创业企业的时间窗口,只有传统手机大厂转型前的短暂时间。

“现在传统手机大厂,核心业务还放在手机和PC上面,对于他们来说那是目前的利润高地。但是它们也通过苹果Vision Pro看到了空间计算这条赛道,并做了许多研发储备。在这些大厂犹豫是不是要小批量试水的时候,正是小型创业公司的绝好机会”,朱然对93913表示。

朱然还引用了玩出梦想科技创始人黄锋在公司内部的发言,“用F的话来说,我们必须要抓住这个历史机遇和时间窗口,储备技术实力,不停打磨产品,才有可能在这些大厂转向前站稳脚跟。”

对于玩出梦想科技来说,自创立以来它在空间计算底层技术的积累,和对空间计算产品的不断打磨,正是其赢得时间窗口的倚仗。

张腾博士以玩出梦想MR的VST功能举了一个例子:要做好1:1真实还原超低延迟的VST,可能需要结构、ID设计、电路优化、软件链路、算法,甚至包括生态的通力配合,它的复杂度在消费类电子里面可能是史无前例。因此空间计算机和手机表面上看起来有很多共同的点,但在产品实现上面其实差距是非常大的,是属于完全不同的赛道。

“做空间计算机和做手机区别表面看起来有一些相似相近之处,但本质上差别非常大。空间计算机不仅是消费类电子,而且接近一个高精密测绘仪器。其中空间计算和空间智能的技术底座实际上对标的是4G/5G通信、电容屏触控的功能,实现这些技术链条非常长。我们花了巨量的时间和精力进行研发布局底层技术,这正是玩出梦想科技的优势。”

在黄锋的计划中,他人生的最后一场创业就是在空间计算这个赛道,坚持做好这件事。

“我们和苹果一样坚定看好这个赛道;我们坚持长期主义;我们希望通过我们的努力和对空间计算的专注,在极短的时间窗口中赢得未来。”

我们也相信,唯有专注的创始人和专注的创企,才能在空间计算的未来到来时,还坐在牌桌上。

「93913原创内容,转载请注明出处」