🤖 由 文心大模型 生成的文章摘要
据Sensors Magazine报导，Google发表ARCore框架，将AR和虚拟实境(VR)功能带到比Project Tango更多的Android装置。苹果(Apple)则推出ARKit，并将其部署到新一代iPhone中。
事实上，移动App若要将虚拟动作叠加到现实世界，不仅需要高效能的绘图处理，还需要与判读不同传感器检测到的动作和其他环境讯号的软件一起运行。
在某些情况下，AR应用将从外部来源获得协助。在零售环境中，信标将为AR室内导航App提供位置数据。但AR和VR若要在移动装置上普及，内部追踪(Inside-Out Tracking)技术必不可少。
内部追踪技术能让移动装置取得主控权。内部追踪技术依赖手机内建的传感器，因此更复杂且具挑战性，但在大多数情况下有很大优势。若能将传感器搭配高效处理能力，则大多数情况下都能在边缘装置本身进行辨识目标的所有运算处理。
首波AR装置依赖专门传感器，如针对范围检测做优化的飞时测距(Time of Flight；ToF)镜头。而最近的发展则更强调应用现有传感器。目前也有更先进的信号和视觉处理演算法，能处理传感器取得的大量周遭环境资讯。
这些趋势的结果，将改变AR由手机内部来处理的本质。依靠多核心CPU和GPU中的MIPS和MFLOPS来运算肯定行不通，这些耗电量高的子系统会让手机电池撑不了多久。因此要关注的是针对机器学习和环境感知演算法做优化的高效信号处理架构。
CEVA是致力于将深度学习和类似演算法融入移动领域的公司。高度平行化的架构会比传统CPU和GPU更审慎使用存储器。而神经网路能存取的存储器与处理器吞吐量的整体效能同样重要。
另一方面，渲染3D场景亦为高效AR和VR的重点。场景的人工部分需要尽可能贴近真实，并跟随用户转身和倾斜手机时的动作变化作出反应。而将这些变化传达给3D渲染引擎的软件须有极低的延迟。
延迟若太高，虚拟动作就会与真实场景脱钩。用户佩戴VR头盔观看几乎完全虚拟的场景时，若在移动时图像转换出现延迟，就会容易有晕眩感。
快速传感器追踪也有助于提升渲染引擎的吞吐量。镜头可追踪用户眼球的运动，并通知渲染引擎要集中渲染哪些区域。这种技术利用大脑对眼睛直接接触的图像最敏感的现象，因此能用更少的细节渲染周遭的元素。
此外，可处理多种传感器的数据的高速信号和视觉处理系统亦为关键所在。CEVA这类公司正在透过让这些系统比3D渲染引擎更节能，来协助创造出高品质的AR和VR，而且手机电力的消耗也必须再考虑范围之内。
