一位VR开发者找到了一种访问Quest 3透视摄像头的更低阻力方案。
Meta并未正式允许第三方开发者访问Quest头显的摄像头,但本周早些时候,我们报道了手部追踪健身应用XRWorkout的联合创始人兼首席开发者Michael Gschwandtner提出的一种巧妙的解决方法。
Gschwandtner的技术是让用户使用Quest的投射功能投射到应用内的WebView上,该应用会加载oculus.com/casting URL。但这需要你费力登录到WebView Meta账户,并且需要用户通过投射来执行。
如今,另一位VR开发者Julian Triveri已经找到了一种不涉及WebView或投射的技术,因此不需要登录或启动系统操作。
Triveri意识到,Android媒体投影API可在Quest头显使用,该API旨在支持自定义录制或投射设置的屏幕捕获。在Quest上,它返回1024×1024帧,视野中央为82度,略低于投射时获得的结果,但仍可用于运行自定义计算机视觉模型。
该API需要用户授予的权限,但此后应用程序现在可以完全访问用户所看到的内容。
Triveri在GitHub上发布了该技术的开源演示,他甚至还添加了一个分支,展示了该技术如何用于驱动AprilTag追踪(一种基准标记)。
这种方法的一个限制是,它不能在头显上录制或投射时使用,因此Triveri必须使用PC来录制镜头。与Gschwandtner的早期技术一样,另一个限制是捕获的视图包括虚拟对象和界面,而不仅仅是摄像头视图,这可能会干扰计算机视觉任务。
有了Triveri的发现,现在Quest应用都能以最小的阻力访问摄像头。Meta会允许这种方案传播吗?或者该公司是否会在其Horizon OS的未来版本中对其进行漏洞修补以杜绝?
上个月,Meta首席技术官博斯沃思在接受采访时表达了他对有意让Quest开发人员访问直通相机想法的看法,并表示Meta将“继续关注”这个问题。
相比之下,对于Vision Pro摄像头,苹果仅向企业提供原始访问权限,并且仅适用于非公开的内部应用程序。