Google展示体积视频捕捉解决方案“The Relightables”

🤖 由 文心大模型 生成的文章摘要
随着对AR体验逼真的体积视频的需求开始增长,Google的研究人员找到了解决方案。Google团队设计了一个名为“The Relightables”的系统,该系统由一个球形笼子组成,装有330个可编程LED灯和大约100个用于捕获体积视频的摄像机。
“The Relightables”系统实现了三项创新。首先,该系统的摄像机用作深度传感器,捕获其主体的12.4MP深度图。其次,该团队创建了几何和机器学习重建管道,以从捕获的数据中合成视频。
最后,该系统还捕获与深度图时间同步的反射率图,从而可以在AR或VR场景中操纵对象的照明,而无需维护原始工作室的照明。该信息是通过交替闪烁两种不同的颜色渐变图案获得的,系统在视频重建期间将其用于推断对象的反射特性。
该团队最近通过计算机协会发表了研究结果,其研究结果将在SIGGRAPH Asia 2019上发表。
研究小组在论文摘要中写道:“尽管在体积捕获系统方面取得了重大进展,重点是具有高分辨率纹理的3D几何重建,但是在恢复照明所需的光度特性方面所做的工作却少得多。”
“相比之下,大量工作已经解决了基于图像的方法的可重新照明获取的问题,该方法在一组基本照明条件下拍摄对象并重新组合图像以显示对象,就像它们将出现在目标照明环境中一样。但是,迄今为止,这些方法还没有适合在高分辨率的体积捕获系统中使用,我们的方法结合了这种能力,并具有自由视点体积捕获和新的几何水平的优点。”
在过去的两年中,体积视频领域一直稳定增长。除了Microsoft的Mixed Reality Capture Studios外,索尼还建立了自己的工作室,而Verizon收购Jaunt是因为其涉足体积捕获技术。
《纽约时报》展示了体积视频如何增强增强现实内容的沉浸式叙事效果,而8th Wall已将对该格式的支持扩展到基于Web的AR平台。同时,Magic Leap收购了Mimesys及其实时全息视频通话技术,显示了体积视频捕获将如何改变人们在不久的将来进行交流的方式。

【93913原创内容,转载请注明及回链】