Quest“直通相机API”已支持开发者试用

🤖 由 文心大模型 生成的文章摘要

备受期待的Quest“直通相机API(Passthrough Camera API)” 现已可供所有开发者试用,不过目前还无法将其纳入应用商店版本中。​

这项新功能于2024年9月在Meta Connect大会上宣布,计划于今年推出。现在,它已作为实验版本在Quest 3和Quest 3S平台发布。这意味着任何开发者都可以对其进行测试,甚至可以在SideQuest等平台上使用该功能分发APK,但还不能将其整合到Meta Horizon Store应用中。Meta过去在开发新API时曾多次采用这种方式,通常情况下,该功能会在几个月内就能在应用商店的应用中使用。​

目前,部分开发者已经获得了该功能的早期试用权。下周在游戏开发者大会(GDC)上,Meta将邀请Niantic、Creature和Resolution来讨论这一功能。​

为了使“直通相机API”正常工作,作为用户,你需要授予应用访问头戴式设备摄像头的权限,就像授予麦克风访问权限一样。如果获得授权,应用将能够访问前置彩色摄像头,包括镜头内部参数和头戴式设备姿态等元数据。应用可以利用这些数据运行自定义计算机视觉模型。​

应用程序使用该功能的示例包括扫描和追踪二维码、检测桌子上的游戏板以添加虚拟角色和物体、检测物理对象以提供企业引导体验,或者集成云托管大语言模型(LLM)的视觉 AI 功能。

直通相机流以30帧/秒(FPS)的速度支持应用程序,每个摄像头的最高分辨率为1280×960.延迟时间为40 – 60 毫秒。这意味着它不适合追踪快速移动的物体(如自定义控制器),也不适合辨别小文本等精细特征。​

从技术层面来看,根本不存在特定的Meta Quest相机直通 API,它也不是OpenXR的扩展。开发者确实需要请求Horizon OS特定的头戴式设备摄像头权限。不过除此之外,Quest的直通相机访问利用了Android现有的Camera2 API,以返回通过OpenXR获得的头戴式设备姿态。

Camera2 API被自定义引擎或虚幻引擎(Unreal)、Godot引擎源代码的开发者所使用。这也意味着,相同的代码应该能够在谷歌即将推出的Android XR平台上运行,该平台将在三星独立头戴式设备中首次亮相,唯一的区别在于权限请求。​

对于Unity引擎,开发者可以通过Unity WebCamTexture API轻松访问摄像头,这也是在该引擎中访问手机、平板电脑和PC摄像头及网络摄像头的方式。然而,这里存在一个限制,即 Unity WebCamTexture API一次仅支持一个摄像头,无法同时支持两个摄像头。​

Meta在GitHub上发布了五个官方Unity示例:CameraViewer、CameraToWorld、BrightnessEstimation、MultiObjectDectection、ShaderSample。另外,Meta软件工程师Roberto Coviello在GitHub上发布了QuestCameraKit,其中包含五个额外示例:Color Picker、使用Unity Sentis进行物体检测、使用ZXing进行二维码追踪、Frosted Glass Shader和OpenAI视觉模型。

「93913原创内容,转载请注明出处」