Immersal:用技术“校准”AR,以体验助力AR腾飞

🤖 由 文心大模型 生成的文章摘要

你可能不懂什么是AR,但一定没少用过:买家具前可以看看“放在家里”尺寸合不合适,走路可以看到跟着虚拟导航不怕走错,甚至买罐儿两块五的可乐也可以扫一扫看段动画获取情绪价值……

AR技术已经在无形中加入了我们的日常——甚至非日常。

在美国家喻户晓热门赛事MLB的现场,也出现了AR的身影。观众只需要在看台上拿起手机,就可以以自己真实角度看到AR为赛场增加的额外信息和动画,比如球的发射角度、距离、球员信息等等。这让现场的观众不仅能获得来自比赛本身的刺激,还能在AR中找到更多丰富的娱乐体验。

相比于具体AR体验有多好玩,我们更关注的是,这项技术的提供方Immersal,是怎么把原本居于房间里、桌面上的AR体验,如此丝滑地放进“球场”这种巨大空间里的呢?

Immersal是如何实现大空间、大体量视觉定位的?

我们知道,所谓AR就是结合了现实世界和数字内容的交互式体验,直白来说就是把数字内容无缝“放在”现实世界中,并且能和现实世界的人、物、环境产生各种各样的互动。判断AR体验好不好的一个关键衡量指标就是“数字内容与物理世界结合的精确程度”。

这一指标涉及到大量且复杂的计算,为了方便开发者,像苹果、谷歌、华为都推出了自己的AR开发平台(ARKit/ARCore/AREngine)。通过它们,开发者可以轻松利用手机开发AR应用,像把漂浮的小球准确(且不穿模)的放在桌面上,让可爱的虚拟宠物在沙发上跑来跑去等等。

但这只是房间级的,也就是它的计算方法只能实现比较小规模的3D虚拟世界重现。那么如果我想要在纽约时代广场制造一个更大型的AR效果呢?要只用上面这些开发平台的SLAM技术是很难完美呈现的。

由于SLAM技术会因为传感器累积误差值、尺度估计值、时间、动态场景变化等各种问题发生漂移。比如我先前放在桌上的虚拟模型,回来再看就发生了位置变化。这在大型场景上问题就会很明显。

这时候,我们就引入了新的技术:视觉定位技术(Visual Positioning System),这也正是Immersal擅长的。

在下图中,我们可以看到,利用Immersal提供的手机APP,我们实际上已经拥有了这一物理环境的视觉特征信息(图上那些密密麻麻的点),基于这些视觉特征信息,Immersal可以构建出该场景的“空间地图(spatial map)”。它的适用场景也不再拘泥于桌面级或者房间级的小型空间,而是可以实现小到楼宇级、大到体育场,甚至像城市这样超大规模的空间也可以实现。

也就是说,结合Immersal的VPS技术所提供的空间信息,可以达到对SLAM出现漂移问题的修正,从而扩大AR效果能够存在的空间,让用户在更广阔的空间中也可以获得较为优质的AR体验。同时,Immersal也提供SDK给开发者,供他们开发所需要的APP。

当然,市面上类似的技术也不只有Immersal,那么它有哪些不可替代的优势呢?

其一,Immersal支持专业、高精度、多样化的建图方式。Immersal针对空间类型的不同,可支持使用不同的采集设备和方法,以保证生成的空间地图的质量。他们包括使用手机,平板电脑,全景相机,工业级的徕卡BLK2GO激光扫描仪,徕卡BLK2ARC机器狗,徕卡BLK2FLY无人机等。

假如需要采集的场地很大,也可以使用全景相机或者专业的徕卡激光扫描仪进行采集:

其二,广泛的客户端支持。用户可以使用市面上大多数主流设备进行AR体验,它包括所有的苹果手机及平板,所有支持ARCore的安卓手机及平板,支持华为AR Engine的设备,以及Magic Leap, HoloLens, XReal等我们熟知的AR眼镜。并且Immersal在持续地适配新上市的AR眼镜。

在下图中能清楚看到,在宽阔的室外街道上,面对同一个虚拟物体(图中绿色框选中的位置),支持XREAL Light和华为P30 Pro同时观看,并且拥有各自位置应该有的角度。

其三,开放的生态。或许源自芬兰的黑客精神,Immersal为开发者提供专业的工具箱,而不是试图把服务封装成一个封闭的黑盒。所以Immersal技术显得更加开放,比如‘空间地图’采用的是开放的数据格式,用户可自行对其进行编辑和优化。

同样地,在用户端,Immersal还同时支持本地定位和云端定位。相比于本地定位,云端定位是昂贵的,因为它有服务器开销,且依赖于网络条件。对于景区,体育赛事,演唱会这样的场景,要支撑大规模用户并发,对于客户来说,成本会急剧上升。

相比于一般的VPS服务商强迫用户进行云端定位的商业化操作,Immersal更加开放。开发者可以完全在设备端完成本地定位计算,从而轻松实现大规模却低成本的AR体验。

在采访中,Immersal的开发团队向87870表示,他们一直秉承一个重要的观念“Do Not Monetise Map Data(拒绝地图数据货币化)”,也就是说,提供工具的他们并非数据的所有者,真正拥有数据的是使用它的开发者。

其四,灵活的部署方式。Immersal支持用户使用公有云服务或者进行私有化部署。对于一般的开发者可以直接使用Immersal在中国国内的公共服务器,立刻开展业务。对于专业的AR开发商,Immersal也可以把VPS技术部署到客户私有的服务器,以实现信息安全。而且在这种方式下,客户可以更方便地与自由的软件平台,比如内容编辑平台进行无缝集成,从而打造出自有的VPS平台。

此前,在日本知名摇滚乐队 UVERworld(曾为《驱魔少年》《银魂》《高达00》《BLEACH》等多部动漫作品献唱)横滨演唱会现场,提供了一系列AR效果和服务。通过现场观众分享的视频和照片,我们能看到,在场馆最中间天空上有巨大的数字虚拟雕像,观众在自己的座位上扫码可以打开并发送弹幕,也能看到从四面八方飘来其他同好的弹幕内容:

甚至有现场观众在B站给出反馈:

不仅实现了在大空间的多人实时AR效果,而且还能在任意看台实现精准定位。基于这样的技术,Immersal还发展出了体育赛事数据的可视化:

从图中我们可以看到,观众通过手机APP,可以非常直观地看到球的整个运动轨迹以及相关的其他信息,辅助观众更好地了解赛场情况,带来极佳的观赛体验。类似的项目还有赛马、足球等。

总结来说,一般用户常接触到的,由手机提供的AR内容在环境和空间上有一定的局限性,比如不能在巨大空间中实现、会漂移等等,而Immersal提供的算法和技术,很大程度上补足了这一缺点,让巨大空间、超多用户也成为了AR的目标场景之一。

同时,基于市场技术,Immersal还提供给客户更强的兼容性、自由部署、自由编辑等能力,成功将AR的应用范围扩大。Immersal CEO Matias Koski在采访中也向87870表示,基于Immersal提供的服务,视觉定位技术拥有了更具有广泛的用例,也让它成为一种多功能技术,甚至可以实现城市级别的空间构建,也就是可以扫描整座城市,实现任意地点的定位。

在普遍意义上来讲,Immersal的技术一些比较典型的应用场景包括导航、文旅、游戏、广告零售、教育培训、建筑设计、维护维修等。

Immersal:从创业到被收购

平心而论,在国外AR开发者圈子还处于比较早期的状态中,很多展示作品虽然充满着新奇的想法,但往往没有考虑最终落地的体验。所以在最早看到像Immersal这样比较成熟的商业落地项目时,我们还是感到意外的,同时也很好奇是什么样的团队打造出这样的体验。

如果只是利用搜索引擎,你可以得到非常基础的信息,Immersal成立于2015年,总部位于芬兰首都赫尔辛基,16-17年间经历过3次融资,公布金额约300万欧元,随后被世界头部测量技术和信息技术提供商海克斯康收购。

其团队包括多名连续创业者,从业经历囊括了很多我们知道的电子、信息、科技、制造行业的大拿:诺基亚、微软、Atos、Airbus等等。在技术方面,更是有超过20+年“码农”经验的舵手领航。

Immersal的CTO Panu Liukkonen就是这名舵手。他毕业于芬兰赫尔辛基大学,此前曾长久在游戏公司Bugbear从事游戏研发工作。像Bugbear推出的《山脊赛车:无限》及其地图编辑器,就有Panu的功劳。所以无论是对“地图”这一概念在虚拟世界的作用,以及各种地图的从无到有,他都有非常丰富的经验。

Panu Liukkonen的个人主页体现着非常北欧的一面——社恐到高冷,他几乎只关注公司的内容和技术相关的信息,且从不发表意见。我们甚至认为,在Immersal技术中极高的精确性和稳定性跟他的风格也不无关系。

同样的,Immersal的首席体验官Teemu Berglund也有着极其丰富的从业经历。他从2010年开始就专注于3D图形和创意方面的工作,十几年来是如此。在他的X中你也不难看出,他更关注在3D图形表现和交互体验方面的内容。

除此之外,他们团队中还包括服务Atos的职业顾问、参与过Open AR Cloud发起于创立的连续创业者等等,正是这样各司其职又恰如其分的紧密结合,让Immersal拥有了他们满意的技术产品,也让他们遇到了自己的伯乐。

2021年,Immersal成立6年之际,被Hexagon海克斯康收购。海克斯康是全球传感器、软件和数字信息技术解决方案的领导者,致力于充分发挥数据的潜力,提升工业、装备制造业、基础设施、安全和移动出行等领域的效率、生产力和质量。其凭借出色的技术成为全球各个产业数字化升级的重要帮手。

对于收购Immersal,海克斯康总裁兼首席执行官Ola Rollén 表示:“长期以来,海克斯康一直是提供智能数字服务的领导者,它将现实捕捉传感器的输入与先进的可视化软件和工具相结合,以实现远程、基于位置的智能。此次收购正式把科技的力量交给一线工人受众,通过叠加的数字信息增强了他们的视野,这意味着他们实际上可以利用所看到的内容做更多事情。”

Ola Rollén直接说明了海克斯康收购Immersal的理由正是看中了其在视觉定位技术上的能力以及AR应用场景的强大潜力。

聚焦文旅,助力国内大型AR体验腾飞

对于很多连续创业者来说,被收购就意味着一段旅程的结束,但对Immersal来说,这才迎来真正的开始。

以往集中于海外市场的Immersal,在亚太地区的其他国家已经积累了非常多的市场案例和经验,如前文提到过日本横滨的大型演唱会项目,还有日本喷水池商业广场、东京商业广场等户外大型AR项目等。2023年8月,Immersal还在AWE Asia 2023中获得了最佳展示奖,也意味着他们争取到了专业人士的极高认可。

这些成功的案例,让Immeral看到亚洲的潜力,同时,也看到中国潜在的巨大市场能量。2023年,Immersal把目光转向了中国市场,据了解,他们还专为中国市场搭建了服务器服务中国开发者。除了在前文中提到的XREAL,Immersal目前在一些主题公园也有了已经落地的项目。

Immersal方面向87870表示,文旅项目是AR技术落地非常好的切口。一方面,AR技术能够用大众更易接受的形式,让文旅内容“活”起来,赋能新社交、新旅行;另一方面,大型的旅游景区恰好是Immersal视觉定位技术的优势,同时也是市场缺失的部分。

除此之外,基于美国、日本等多个国家成功落地的大型体育馆赛事、演唱会项目成功经验,Immersal也计划将它带入中国,积极探索中国泛娱乐场景的AR丰富体验。

Immersal CEO Matias Koski说:“对于未来中国市场的发展计划,我们希望能有更多的开发者和客户用到Immersal的工具和服务,同时落地更多AR项目,帮助中国AR/XR生态的发展。”