备受期待的Quest“直通相机API(Passthrough Camera API)” 现已可供所有开发者试用，不过目前还无法将其纳入应用商店版本中。
这项新功能于2024年9月在Meta Connect大会上宣布，计划于今年推出。现在，它已作为实验版本在Quest 3和Quest 3S平台发布。这意味着任何开发者都可以对其进行测试，甚至可以在SideQuest等平台上使用该功能分发APK，但还不能将其整合到Meta Horizon Store应用中。Meta过去在开发新API时曾多次采用这种方式，通常情况下，该功能会在几个月内就能在应用商店的应用中使用。
目前，部分开发者已经获得了该功能的早期试用权。下周在游戏开发者大会(GDC)上，Meta将邀请Niantic、Creature和Resolution来讨论这一功能。
为了使“直通相机API”正常工作，作为用户，你需要授予应用访问头戴式设备摄像头的权限，就像授予麦克风访问权限一样。如果获得授权，应用将能够访问前置彩色摄像头，包括镜头内部参数和头戴式设备姿态等元数据。应用可以利用这些数据运行自定义计算机视觉模型。
应用程序使用该功能的示例包括扫描和追踪二维码、检测桌子上的游戏板以添加虚拟角色和物体、检测物理对象以提供企业引导体验，或者集成云托管大语言模型(LLM)的视觉 AI 功能。
直通相机流以30帧/秒(FPS)的速度支持应用程序，每个摄像头的最高分辨率为1280×960.延迟时间为40 – 60 毫秒。这意味着它不适合追踪快速移动的物体(如自定义控制器)，也不适合辨别小文本等精细特征。
从技术层面来看，根本不存在特定的Meta Quest相机直通 API，它也不是OpenXR的扩展。开发者确实需要请求Horizon OS特定的头戴式设备摄像头权限。不过除此之外，Quest的直通相机访问利用了Android现有的Camera2 API，以返回通过OpenXR获得的头戴式设备姿态。
Camera2 API被自定义引擎或虚幻引擎(Unreal)、Godot引擎源代码的开发者所使用。这也意味着，相同的代码应该能够在谷歌即将推出的Android XR平台上运行，该平台将在三星独立头戴式设备中首次亮相，唯一的区别在于权限请求。
对于Unity引擎，开发者可以通过Unity WebCamTexture API轻松访问摄像头，这也是在该引擎中访问手机、平板电脑和PC摄像头及网络摄像头的方式。然而，这里存在一个限制，即 Unity WebCamTexture API一次仅支持一个摄像头，无法同时支持两个摄像头。
Meta在GitHub上发布了五个官方Unity示例：CameraViewer、CameraToWorld、BrightnessEstimation、MultiObjectDectection、ShaderSample。另外，Meta软件工程师Roberto Coviello在GitHub上发布了QuestCameraKit，其中包含五个额外示例：Color Picker、使用Unity Sentis进行物体检测、使用ZXing进行二维码追踪、Frosted Glass Shader和OpenAI视觉模型。
