据RoadtoVR报道，去年年底召开的IEDM会议上，Meta Reality Labs首席科学家Michael Abrash阐述了该公司对当代计算架构如何发展的分析，以使科幻概念化的AR眼镜成为可能。
虽然今天市场上有一些AR“眼镜”，但它们都不具备一副真正的普通眼镜（即使是一副笨重的眼镜）的外观大小。目前最好的AR头显——比如HoloLens 2和Magic Leap 2——相比眼镜形态更接近于护目镜，而且太重且不能整天佩戴。
Michael Abrash认为，如果我们要制造真正眼镜大小、且具有全天电池寿命及引人注目的AR体验所需功能的AR眼镜，那么将需要进行“一系列根本性的改进”，——在某些情况下，转变“硬件和软件”模式。
也就是说，Meta不确信目前的技术，能够打造真正意义上的AR眼镜。
去年年底，Michael Abrash在IEDM 2021大会上发表了这段讲话，并提出了一种新的计算架构，该架构可以满足真正眼镜大小的AR设备的需求。
Michael Abrash表示，重新考虑如何在这些设备上处理计算的核心原因是需要大幅降低功耗以满足电池寿命和散热设计要求。
“我们如何才能将（移动计算设备）的能效从根本上提高100倍甚至1000倍？”Michael Abrash提问，“这将需要对整个堆栈进行深入的系统级重建，并对硬件和软件端到端的协同设计，而重新设计的起点则是今天计算效能的发展方向。”
为此，Abrash绘制了一张图表，比较了低级运算操作的功耗。
如图表所示，最耗能的计算操作是数据传输，这不仅仅是指无线数据传输，甚至意味着将数据从设备内部的一个芯片传输到另一个芯片，更重要的是，该图表使用了对数刻度；根据图表，将数据传输到RAM使用的功率是基本单元12000倍（在本例中是两个数字相加）。
综上所述，右侧的圆形图显示了AR功能所需的关键技术（SLAM和手动追踪），只需将数据移入和移出RAM即可使用大部分功能。
“显然，对于低功耗应用（例如轻便AR眼镜），尽可能减少数据传输量至关重要。”Abrash说。
为了实现这一目标，将需要一种新的计算架构，而不是在集中式计算中心之间传输大量数据，而是在整个系统中更广泛分布计算操作，以最大限度减少数据传输。”
Abrash说，分布式计算架构的起点可以从AR眼镜感知用户周围世界所需的众多摄像头开始，这将涉及在相机传感器本身进行一些初步计算，然后才通过数据传输通道发送最重要的数据。
Abrash表示，达成这一目标需要硬件和软件共同设计，这使得硬件在设计时就考虑了特定算法，该算法可计算相机传感器本身数据，支持处理任何经过传感器的操作数据。
“将最低功耗、最佳性能和最小外形尺寸的标准整合，则能使XR传感器成为图像传感器行业的前沿产物。”Abrash说。
Abrash还透露，Meta Reality Labs已开始为此而努力，甚至已创建了一个原型相机传感器，专门设计用于AR眼镜的低功耗，高性能需求。
该传感器基于一系列数字像素传感器阵列，可在三个不同的光照水平下同时捕获每个像素上的数字光值，每个像素都有自己的内存来存储数据，并且可以决定报告三个值中的哪一个（而不是将所有数据发送到另一个芯片来完成这项工作）。
Abrash说，这不仅降低了功耗，而且还大大增加了传感器的动态范围（它能在同一图像中捕获昏暗和明亮的光线水平），同时Abrash分享了用Meta原型传感器拍摄的样本图像，与典型传感器进行了比较，以演示宽动态范围。
在左侧的图像中，亮光掩盖了图像，导致相机无法捕捉到大部分场景。另一方面，右边的图像不仅可以清晰看到灯泡灯丝的极高亮度，还可以看到场景的其他部分。
这种宽动态范围对于未来AR眼镜的传感器至关重要，这些眼镜需要在低光室内条件下如同晴天照射条件下工作。
尽管Meta原型传感器具有HDR优势，但它的功耗明显更高，在30帧/秒的情况下达到5mW，不过它的扩展性很好，虽然需要更多的功率，但传感器每秒可以捕获480帧。
但是，Meta想更进一步，在传感器上进行更复杂的计算。
“例如，深度神经网络的浅层部分——XR工作负载的分割和分类，如眼动追踪和手部跟踪——可以在传感器上实现。”
但Abrash说，在更多的硬件创新之前，这是不可能实现的，比如开发超密集、低功耗的内存，这对于“真正的传感器上ML计算”是必要的。
尽管Meta已经在试验全新AR技术，但Abrash表示，整个行业需要团结起来，才能实现规模化量产，并特别指出：“（芯片制造商）开发MRAM技术是开发AR眼镜的关键因素。”
“在端到端系统中，我们提出的分布式架构以及我所描述的相关技术结合在一起，将在功耗、面积和外形尺寸方面有着巨大的改进潜力，”Abrash总结道，“进行必要的改进、使其变得足够舒适和实用，并成为十亿人日常生活的一部分。”
