昆仑万维发布国内首个AI短片视频生成模型

🤖 由 文心大模型 生成的文章摘要

2月18日,昆仑万维发布了国内首个AI短片创作视频生成模型SkyReels-V1,以及国内首个基于视频基座模型的SOTA级情绪动作可控算法SkyReels-A1。这一发布标志着昆仑万维在AI视频领域取得了重大突破,为行业发展注入了新的活力。

SkyReels-V1作为一款专门为AI短片创作打造的开源视频生成模型,具备卓越的能力。它能够精准生成电影级别的人物微表情和动作,在全球范围内,是为数不多的开源视频生成模型之一,并且在同类开源模型中性能表现十分突出。该模型支持33种细腻入微的人物表情以及400多种自然流畅的动作组合,能够高度还原人类丰富的情感表达,呈现出电影级别的唯美光影效果。

基于大量优质影视数据进行深度训练,SkyReels-V1同时支持基于文本的视频生成和基于图像的视频生成功能,其参数规模在开源模型中处于领先地位,展现出强大的技术实力。

从技术层面深入剖析,在昆仑万维自研的推理优化框架“SkyReels-Infer”的有力支持下,SkyReels-V1的推理效率得到了大幅提升。基于单张4090显卡进行推理,生成544p分辨率的视频仅需80秒,并且支持分布式多卡并行、Context Parallel、CFG Parallel、VAE Parallel等先进技术,极大地提高了运算效率。同时,采用fp8量化以及参数级offload技术,有效满足了低VRAM用户级显卡的运行需求,让更多用户能够享受到模型带来的便利。

此外,通过支持flash Attention、SageAttention以及模型编译优化等技术,进一步优化了时延问题,基于开源diffuser库,也使得模型的易用性得到显著提升。

SkyReels-A1则是国内首个SOTA级情绪动作可控算法,该算法支持视频驱动的电影级情绪捕捉,以及高逼真度的微表情还原。它可以根据任意人体比例,生成极为逼真的动态人物视频,还支持侧脸表情控制和眉眼微表情生成,极大地拓展了人物动作驱动的范围。与同类算法相比,SkyReels-A1在情绪动作的复杂度和自然度方面表现更为出色,能够为用户带来更加优质、真实的视频创作体验。

「93913原创内容,转载请注明出处」