文化和遗产技术研究所（TRIC）是一家以数字化方式保存全球遗产文物（包括文化遗产、非物质文化遗产、自然遗产和未来遗产）并将其用于互动内容的公司。TRIC为保护真正的遗产做出了贡献：使人们可以更容易地接触到它们，让这些遗产得以重见天日，并提升了它们的价值。
文化遗产是国民了解其国家历史的重要途径。遗产使历史和文化身份得以保留在当下，并延续到未来。在韩国，约23万件文化资产通过合法或有争议的途径外流到了其他国家，但该国目前正在开展各种努力，将它们送回本国。
在这些努力中，包含一种数字共享想法，这是韩国政府主导的一项举措，希望利用数字技术和设备代替复杂且困难的实体归还过程。
通过数字共享，他们能够以原始文物精确数字复制品的形式，在本国展出存放于海外博物馆的韩国艺术品。基于数字复制品开发的交互式3D内容将为观赏者提供一种真实且引人入胜的体验。
克利夫兰艺术博物馆（CMA）的韩国文化资产数字化归国项目是首个在这个想法的指导下展开的项目。为了更深入地了解项目的全部细节，我们采访了文化和遗产技术研究所（TRIC）的首席执行官Kim Jikio，他指导了这个以数字化方式将CMA的韩国文化资产带回国的项目。
能否向我们介绍一下TRIC和CMA的韩国文化资产数字化归国项目？
TRIC是一家致力于通过数字技术、研发和相关企业为文化和遗产注入新生命的公司。过去十年间，TRIC一直在为印度尼西亚、老挝、土耳其、哈萨克斯坦、日本和埃及等地的主要全球遗产策展机构开发数字档案和内容，使之向所有人开放。最近，得益于实时内容工作流程的发展，我们已经开始将基于虚幻引擎的管线用于克利夫兰艺术博物馆的项目。
CMA的韩国文化资产数字化归国项目是一个国际合作项目，从3月起，它将在韩国和美国同时展出。
我们对CMA收藏的韩国文化资产进行3D扫描，获取数字化数据，并在此基础上制作逼真的数字内容。这个项目已经进行了三年。在项目的第一年，即2022年，我们完成了对CMA十三件主要韩国文物的数字化存档工作。2023年，考虑到大规模展览的需求，我们从这些文物中挑选出了19世纪的折叠屏风《七宝山》，并开始根据这件艺术品制作身临其境的逼真内容。如今，项目已进入第三年，我们的辛勤工作成果将在韩国和美国举办的展览中展出。
你们为什么将虚幻引擎引入TRIC管线？
基于文物数据的内容制作项目要取得成功，一个至关重要的因素是要能够在数字版本中忠实地还原原始艺术品。
然而，随着网格体和纹理精细程度的加深，数据将不可避免地变得庞大。比起创建单件艺术品，当尝试创建建筑结构等复杂对象时，这种情况将尤其严重。因此，我们曾经投入了大量资源，希望简化和优化数据。
由于实时互动内容主要通过VR、AR以及实体设施观看，因此这种优化过程十分必要。TRIC始终认为，通过媒体技术在观众与艺术之间实现无缝互动至关重要。这也是我们采用虚幻引擎的原因，因为它允许我们在制作实时内容的同时，以最小的工作量保持原有的质量。
通过使用虚幻引擎5中的Lumen和Nanite，我们能够以高视觉质量描绘数字文物的细节。这些工具还消除了过去实时制作中所需的冗长优化过程，从而减轻了制作负担，并允许小型团队快速交付所需的质量。
此外，虚幻引擎还大大缩短了所有TRIC项目的管线，包括需要对基础视频进行复杂计算和模拟的沉浸式多平面成像项目、变形成像项目以及新输出格式的内容开发项目。
请介绍一下该项目使用的管线
这个项目的流程可以分为两部分：扫描13件文物，将它们转化为数字化数据；以及制作逼真的《七宝山》内容。在扫描阶段，我们主要使用了RealityCapture。然后，我们构建了基于虚幻引擎的管线，用来创建逼真的《七宝山》内容。
在项目的第一年，我们为CMA保存的13件韩国文物（包括《七宝山》）采集了超级精确的数字化数据。精确的3D扫描通常需要使用激光雷达或结构光扫描仪等专业设备。
然而，在这次的情况中，由于文物在海外，因此很难携带设备或创造最佳的扫描环境。作为替代方案，我们采用了摄影测量方法，利用RealityCapture采集数据。我们经常使用RealityCapture，为储藏艺术品的建筑制作建筑空间和所含物品的3D数据集。对于每一件文物，我们都拍摄了数千张照片，并使用RealityCapture创建了高保真的网格体资产和纹理资产。顺便提一下，在与柏林的一位建筑摄影师合作完成的夏洛滕堡宫瓷器屋项目中，尽管受新冠疫情的影响，德国边境关闭，但RealityCapture发挥了关键作用，使该项目得以完成。
在制作第二年推出的逼真内容时，我们的目标是在保留传统艺术风格并增加3D空间感的同时，将绘制在宽阔折叠屏风上的《七宝山》原始画作转化为三块沉浸式数字屏幕。
为了实现这一目标，我们首先构建了巨大的千兆像素数据网络，使用摄像机旋转体将构成折叠屏风每一个面的数千张图像连接起来，然后为每个对象、色域和层级创建独立的图层。我们使用虚幻引擎将所有元素放置在3D空间中并进行拍摄，将传统的2D艺术作品《七宝山》重塑为具有空间感和动态感的3D内容。
在创建3D效果的过程中，用于表现角色轮廓的笔触将发挥至关重要的作用。我们使用虚幻引擎的材质编辑器创建了一个着色器。我们从Megascans下载了纸张质感的高质量纹理，进行了修改，并应用到了角色的后期处理材质中。
雾是使用虚幻引擎的Niagara流体插件添加的，这将为艺术作品带去动态感。使用Niagara流体，我们可以制作出能够实时对其他对象做出反应的模拟，或者通过Sequencer控制所需的时间。
相较于之前使用OpenVDB的方法，Niagara流体更加轻便，而且允许我们立即做出任何需要的编辑。为了在包含三块平面的屏幕上展示这些精心制作的角色和效果，我们使用摄像机绑定将三台摄像机绑定到了一起，从而对动画做出了有效的处理。所有视频都是使用影片渲染队列同步渲染的，这项功能可以同时渲染Sequencer中的三台摄像机。
在制作逼真的《七宝山》内容时，虚幻引擎和Epic Games生态系统提供了哪些帮助？
对于《七宝山》这种使用了韩国传统艺术资源的内容，需要在美感上保持一致，并在所有元素和场景中准确表现出东方绘画的风格。
因此，能够在所有阶段进行精确控制的制作工具必不可少。在虚幻引擎提供的环境中，我们可以通过Niagara、Sequencer和其他系统以精细的控制方式合成资产，同时保障视觉质量和性能。
此外，虚幻商城和Quixel Megascans的庞大资产库为各种自然现象（如云朵、月亮、雾和风）提供了大量资源。这些库还提供了实现传统风格3D绑定动画角色所必需的材质、高质量着色器，以及适合用作角色原始纹理的纹理，帮助我们缩短了完成任务所需的时间。
最重要的是，虚幻引擎中的实时渲染技术是这个项目的支柱。我们只有两个月的时间开发内容，时间非常紧迫。同时，我们还必须使用三台虚拟摄像机进行拍摄，并以极高的分辨率进行渲染，才能将内容展现在包含三块屏风（呈梯形放置）的沉浸式屏幕上。
观众的位置和视角会对沉浸感产生巨大影响，因此需要进行反复而细致的调整。由于项目需要韩国和美国的专业人员合作，我们必须通过现场电话会议传达详细的反馈意见。
通过使用虚幻引擎，我们能够显著地缩短沟通时间，在地球的两端一起做出实时调整。更重要的是，我们能够在制作阶段对成品进行审查和质量检查，尽可能地减少了沟通错误的几率和返工的风险。
如果使用传统方式制作，我们的宝贵时间大部分都将耗费在电话会议上。即使我们得出了结论，也不可能在规定的时间内完成项目，更不用说满足质量要求。
请谈谈TRIC的未来目标和方向。
就短期目标而言，我们的重点是成功完成CMA的韩国文化资产数字化归国项目，以及埃及文化遗产官方发展援助（ODA）项目。
从长远来看，我们的目标是为每个历史时代构建一个实时世界，就像一个元宇宙，将我们在其他项目中积累的众多数据集和实时内容连接起来。我们希望使用虚幻引擎和Epic Games生态系统，以3D方式修复具有较高历史保护价值的城市。
作为这项工作的一部分，我们正在开展一个项目：使用虚幻引擎完整地构建八世纪的徐罗伐（即今天的庆州）。通过创造新罗首都徐罗伐的数字复制品（包括其地形和植被），与建筑、道路、人物和历史事件等方面相关的大量数据将汇聚于同一个平台。随着考古发掘和研究的深入，我们还可以对虚拟城市进行更新。利用这种互动环境，我们将能够以写实的质量即时创建电影或纪录片中的场景。
来源：虚幻引擎
