2022年4月29日，由虚拟现实制造业技术创新战略联盟主办、南昌虚拟现实研究院股份有限公司承办、江西省工业和信息化厅与南昌市人民政府担任指导单位的“虚拟现实制造业技术创新战略联盟（VRMTA®）2022年度工作会议暨VR产业创新高峰论坛”在江西南昌圆满落幕。
南昌虚拟现实研究院副总经理孙其民在高峰论坛上做了题为《南昌虚拟现实研究院（江西虚拟现实创新中心）研发成果报告》的报告，详细介绍了南昌虚拟现实研究院在VR/AR可变焦显示、焦面式虚拟现实显示、全息体光栅、实时三维重建、眼动追踪、手势追踪、三维可编辑投影等关键共性技术研发项目上的最新进展与成果。
以下为演讲全文：
尊敬的赵院士、庄院士、江院士，还有我们联盟的理事长，各位专家，各位领导，下午好。下面按照大会议程，我在这里向大家报告南昌虚拟现实研究院及江西省虚拟现实研究中心在虚拟现实关键共性技术研发方面所取得的进展。
在开展虚拟现实关键共性技术研发方面，我们从三个方面起步推进，一个是研发平台的建设，第二个是研发团队建设，第三个是共性关键技术攻关。
首先我们介绍一下关键技术研发平台的建设情况。创新中心能力建设可分为5个部分开展，一是技术研发，二是成果转化，三是检验测试，四是人才培养，五是国内外合作。
技术研发能力建设方面，我们将研发体系划分为三大板块，一是以研究所为单元的研发团队，二是研发支撑平台实验室，三是成果转化平台、中试验证平台。
目前为止，在研发体系建设当中，我们已建成5家研究所并成立团队开始研发，推进关键共性技术的突破，这5家研究所分别是几何光学研究所，近眼显示研究所、光场成像与显示研究所、三维传感与机器视觉研究所、感知交互研究所。另外，我们还有微纳光学和系统软件两个研究所正在筹建中。
研发平台方面，我们投入了大量资金构建了研发实验平台，目前已建成7个研发实验平台，分别是近眼显示，全息体光栅、液晶材料，几何光学，光场成像与显示，三维传感与机器视觉，感知交互实验室。
在成果转化方面，现已建成两个中试验证平台，分别是VR显示模组和全景影像模组中试线。
在此基础之上，各研究团队开展共性技术研发突破，现在已经启动了多个项目。
今天，我在向大家分享这7个方面的工作进展和成果。
一．液晶变焦透镜与VR/AR可变焦显示。
这个研究方向的重点是突破变焦液晶透镜技术，实现可变焦近眼显示方案，解决视觉辐辏调节冲突（VAC）问题，实现VR/AR的舒适观看体验。
视觉辐辏调节冲突是大家所关注的VR晕动症的根本来源。目前我们在这个领域已经开发出第一代电子变焦液晶透镜，从样品来看，它的厚度非常薄，其液晶能够做到微米级。虽然说是一个镜片，但它是一个液晶，只有是做到啊是微密级的，这是我们在实验室实际检测的情况。
在我们自己开发的电控液晶变焦透镜测试平台上，摆放了有远中近三个套娃，最远的是左侧蓝色套娃，距离约2米；中间的套娃距离大约为1.5米；最近的套娃距离约1米，通过电控变焦实时切换焦点。当焦点位于最远处的套娃时，它处于最清晰的状态，另外两个套娃则会处于模糊状态。
将这套系统实践到VR透镜中，再加上眼动追踪功能，就可以实现实时自动变焦和最优的视觉观看效果。
基于这个原理，我们设计了基于VR可变焦透镜的VR头显整机方案，其中使用了我们设计集成的可变焦透镜光学模组，它的结构非常小，而且制程工艺只需要使用现有的成熟工艺，成本非常低，具有很好的产业化前景。
可变焦透镜除了可以应用于VR头显，还能够应用到手机、光通信等领域，只要是涉及到焦距可调的，均有应用的前景。
二．基于玻璃基液晶相位调制器的焦面式虚拟现实显示。
这个研究项目同样用于解决VR/AR观看体验舒适度的问题，也就是说刚才讲的视觉辐辏调节冲突。它的特点是采用了光场的技术原理，在大家看来可能是解决视觉辐辏调节冲突的最优方案。
这一领域中，目前存在一个比较大的问题——产业化。这项技术中的核心器件空间光调制器，目前采用了硅基方案，成本高达几万甚至十几万。目前，我们计划采用的玻璃基方案能够的大幅度降低器件成本，而且可以实现更大的尺寸与视角，都是VR所需要的。
现在在这一领域，我们已经研发完成了玻璃基液晶相位调制器的器件规格设计、光学设计、像素设计以及工艺制程和测试验证平台的搭建，正在开展第一代相位调制器的研制工作，预计在今年年底我们会推出第一代的液晶相位调制器，接下来开展焦面式显示系统的整机研制。
从对比来看，玻璃基液晶相位调制器的尺寸各大，价格更低，解决了产业化瓶颈的问题。就VR/AR应用场景而言，能够解决观看舒适度的问题，实现连续的三维深度、自然的焦点模糊，带来最佳的体验。此外，玻璃基液晶相位调制器在全息显示、可编程衍射光学器件等领域也有广阔的应用前景。
三、聚合物分散液晶全息体光栅。
全息体光栅主要应用于AR显示。未来AR显示技术的主流是光波导，光波导又可分为几何光波导与衍射光波导，全息体光栅技术是衍射光波导领域的一项技术。
全息体光栅的技术核心首先是基础材料。目前国内在材料方面的技术与国外差距明显，且受到了国外的技术封锁，进口也有非常大的难度，是目前产业的一个瓶颈。
在这一领域，我们有两个研发方向，一是突破基础材料，研制高性能全息高分子材料，我们建立了液晶材料实验室以及全息体光栅实验室正在攻克相关技术；二是突破基于全息高分子材料的全息体光栅关键制程工艺，实现批量生产，我们对标的是国外最先进的复制生产工艺。
目前我们已经自主研制出了全息高分子材料，从光学参数来看，它在调制折射率、调制度方面已经比国内现有材料有所领先。
我们的实验室已经初步完成了第一代全息体光栅的制备，未来性能还可以进一步提升，预计在部分指标上做到国内领先，在部分指标上达到国际先进水平。
四、散斑结构光实时三维重建技术与 RGB-D 相机。
基于散斑结构光的三维信息获取是三维传感里较为普遍的应用。在这项技术的基础之上，我们开发了嵌入式3D相机，基于这一器件和算法，进一步延伸到三维重建技术，重点是三维稠密点云的重建。目前我们已经研发了第二代RGB-D相机，实际测试比微软的Kinect以及英特尔的Real Sense在深度和深度图的连续性方面都有比较明显的优势。
这一块，我们重点突出两个特点，一是高帧率，我们研发的相机可以达到60FPS以上，目前我们实验室里最高可以做到超过100FPS，比较适合VR中的互动，以及对运动物体的三维感知和重建。二是我们目前采用了基于FPGA的芯片，可以很快的根据用户的场景需要，去定制对应的技术指标。
RGB-D相机的应用场景也有很多，除了VR里的交互、建模，还包括了3D视频会议、机器人导航以及更多的工业应用。
五、眼动追踪技术。
眼动追踪解决的是眼睛在看哪里、往哪儿看、怎么看的问题，从而主动获取人对世界的感知信息，然后基于视觉信息的获取来去进行视觉的交互和视觉行为的判断。我们在这一领域的研发，重点解决面向VR头显的眼动追踪技术，实现在VR设备中眼动追踪与动态变焦显示和渲染优化的集成，为VR基于眼动追踪的体验优化提供一体化的技术支撑。
其中的重点包括变焦显示、注释点渲染和视觉交互三个方面。
我们目前的研发重点一是眼动追踪模组，二是算法。在眼动追踪模组方面，我们完全采用自主设计，用基于视频的方式实现眼动追踪，并对器件的小型化、可靠性、功耗，以及红外光的安全度方面，都参照业界的标准做了很多的优化；在眼动追踪器件与VR/AR头显的集成度方面，我们也针对业界现有的头显形态做了优化设计；算法方面，稳定性以及可迁移性较好，适用于多种头显硬件平台。
针对VR/AR的应用，我们有两方面的布局，首先是解决VR头显的眼动追踪能力，目前我们提出了三种技术路线，可以适配多种头显。
第一是内部反射式，可以适配于像HTC Vive这样的VR头显。
第二是针对Pancake超短焦显示方案的外部直射式。
第三是针对大视场角的方案。
六、面向VR/AR的手势追踪技术与系统。
手势交互是自然交互的一个重要形态。在这一领域，我们重点做三大技术，一是手势姿态的采集和标注；二是手势追踪与识别；三是建立3D手势姿态数据库，给手势交互技术开发以核心数据支撑。
深度学习是各个领域所使用的通用工具，在手势追踪领域，也是以深度学习作为一个主流的研发方向，它的痛点是必须要有大量的高精度数据来对模型进行训练，才能得到好的结果。现阶段国内缺少这样的数据库，一些开源数据集的数据量和精度不达标，只能做一些实验性的工作。3D手势姿态数据库能够给手势交互技术开发以核心数据支撑。
所以在手势追踪领域，我们重点解决三个问题。
第一是手势追踪系统，也就是我们的最终目标，第二是如何获取数据，第三是3D手势姿态的自动标注，这三点相互关联。在实际工作中，第一步需要拿到大量的数据，我们大规模的采集3D手势数据，计划完成不少于20万张高精度的数据图，然后基于数据的处理研发一套自动化的标注工具，最后再在这一基础上实现手势追踪算法。
具体到算法方面，我们已经针对不同的相机验证了一些手势追踪方案，第一是基于彩色相机的追踪方案，可以实时控制虚拟手。第二是基于灰度相机/深度相机的实时追踪方案。将来，我们可以将手势追踪传感器与三维重建传感器集成到一套设备中，实现一体化的手势追踪解决方案。
手势追踪的主要技术指标，是能够追踪21个手指关节的关键点，获取它们在空间的深度信息，然后进行实时追踪，控制虚拟手。在具体的指标方面，我们重点关注微手势操作的指标，例如点、拿、捏这样在VR/AR中使用较多的动作；还有一些关键手指，例如拇指和食指的追踪精度。
七、面向AR的三维可编辑投影系统。
面向AR的三维可编辑投影系统是我们面向内容制作领域研发的内容工具，也是一套完整的系统。它包括两块，一个是内容创作，二是 AR内容的投影。
形式上来说，它类似于灯光秀，是一个比较小型的装置，适用于室内小场景和小物体的投影与增强。它的特点是基于三维传感获取物体表面较精准的3D信息，也就是说物体表面的凹凸深浅不同都可以捕捉到，配合可以做到像素级编辑的内容制作工作，从而完成精细的作品，实现非常逼真的投影效果。
这套内容制作工作，被我们称为光辉AR投影编辑系统，拥有PS等平面设计工具经验的人都能够轻松的上手。工具内包括了自动选取、特效、实时视频导入等功能，也拥有时间轴的编辑与控制功能。从创作的角度来说，它是一款能够提高很多生产力的工具。
这是我们在实验室做的静物增强投影以及在动态旋转体上的投影，在不同的时间实际上看到的投影是不一样的。
这一系统可以用于文物展示、科技展示、产品展示等领域，作为一种展览展示的方案，还能够提供一些交互与互动。
以上是我们目前在做的一些工作，涉及到交互、光学、器件、材料等各个方面，也将和产业界的诸多同行有大量交叉和合作的机会，希望我们能与业界同仁们一起携手共进，共同创新，共创虚拟现实新局面，谢谢大家！
