四川大学推出LCVD - 一种光照可控的肖像动画生成框架

LCVD（光照可控视频扩散模型）是四川大学提出的一种高保真、光照可控的肖像动画生成框架。该模型基于肖像本质特征（如身份与外观）与外源特征（如姿态与光照）的分离机制，通过参考适配器（Reference Adapter）与光照适配器（Shading Adapter）将这些特征映射至不同子空间。在动画生成过程中，LCVD结合这些特征子空间，并基于多条件无分类器引导机制精细调控光照效果，同时保持肖像的身份特性与外观特征。该模型基于稳定视频扩散模型（SVD）架构，可生成与驱动视频姿态一致且符合目标光照条件的高质量肖像动画。在光照真实感、图像质量与视频连续性方面，LCVD显著优于现有方法，为虚拟现实、视频会议、影视制作等领域提供了强有力的技术支持。

LCVD核心功能

肖像动画化：将静态肖像转化为动态视频，匹配驱动视频中的头部运动与表情变化

光照控制：根据用户指定或参考图像的光照条件，在动画生成过程中对肖像进行重打光处理

身份保留：在动画化与重打光过程中保持肖像的身份特征与外观特征，避免身份信息丢失

高质量视频生成：生成视频在光照真实感、图像质量与时序连贯性方面表现优异，适用于虚拟现实、视频会议、影视制作等场景

LCVD技术原理

特征解耦：参考适配器将参考肖像的本质特征（身份与外观）映射至特征空间，光照适配器将外源特征（光照与姿态）映射至特征空间。基于本质特征与外源特征的解耦，模型在动画过程中可独立控制光照与姿态

光照可控扩散模型：基于稳定视频扩散模型，采用多条件无分类器引导机制调节光照效果。通过修改引导强度（如权重w），增强或减弱光照提示的影响，实现精细的光照控制

运动对齐与长视频生成：基于运动对齐模块保证生成肖像与驱动视频姿态一致，采用扩散模型采样方式生成任意长度视频，基于重叠策略保证视频片段间过渡流畅，确保生成视频在光照、姿态与身份上的连续性

训练优化：训练阶段通过自监督学习优化适配器与扩散模型，采用感知损失（LPIPS）、生成质量评估指标（FID）等损失函数评估并优化生成视频质量

LCVD项目地址

arXiv技术论文：https://arxiv.org/pdf/2502.19894

LCVD应用场景

虚拟现实(VR)与增强现实(AR)：创建逼真虚拟角色，使其自然融入虚拟或真实场景

视频会议：实时生成高质量肖像动画，降低带宽需求并提升用户体验

影视制作：快速生成符合不同光照条件的肖像动画，用于特效制作与虚拟场景

游戏开发：生成逼真的虚拟角色动画，提升游戏真实感与沉浸感

社交媒体与内容创作：支持用户生成个性化动态头像或短视频，丰富内容创作形式