开发者展示访问Quest 3直通透传摄像头解决方案

🤖 由 文心大模型 生成的文章摘要

一位开发者找到了一种巧妙的方法来访问Quest 3的直通透传摄像头,以运行自定义计算机视觉模型。

Meta不允许第三方开发者访问Quest头显的摄像头,但手部追踪健身应用「XRWorkout」的联合创始人兼首席开发者Michael Gschwandtner在社交媒体平台上发布了一段视频,展示了一种解决此限制的方案。

演示视频展示了开源 MobileNet V2对象检测模型在Quest 3上以0.75 Hz的频率原生运行,选择这个频率是出于实用性考虑,而不是出于性能原因。

Gschwandtner的应用程序构建创建了一个webview,即嵌入在应用程序中的Chromium网络浏览器实例,它会自动加载Quest头显以将其视图投射到的oculus.com/casting URL。

随后,你需要在此WebView中完成登录Meta账号的完整过程。完成后,你可以通过Quest 系统菜单启动网络直播。

然后,Gschwandtner应用对接收投射视图的WebView的像素内容(RenderTexture)进行采样,便能对其进行操作了。这里的一个关键限制是视图将包括虚拟对象和界面,而不仅仅是透视相机视图,这意味着它只有在大部分图像都是透视时才会起作用。但Gschwandtner声称他有一个“计划”来解决这个问题。

目前还不清楚Meta将如何回应Gschwandtner的发现。Meta可能会在未来版本的Quest Horizon OS中禁用这项技术,Gschwandtner在社交媒体上发帖公开请求与Meta首席执行官扎克伯格或首席技术官博斯沃思“通话”,以向他们“展示”这项技术。

上个月,博斯沃思在一次采访中表达了对有意让Quest开发者访问直通透传相摄像头的看法,并表示Meta将“继续关注”这个问题。

相比之下,Apple Vision Pro仅向企业提供原始访问权限,并且仅适用于非公开的内部应用。

「93913原创内容,转载请注明出处」