西交大开源SadTalker模型图片+音频秒变视频！

更新时间：2023-04-19 17:27:50

西安交通大学的研究人员提出了SadTalker模型，通过从音频中学习生成3D运动系数，使用全新的3D面部渲染器来生成头部运动，可以实现图片+音频就能生成高质量的视频。为了实现音频驱动的真实头像视频生成，研究人员将3DMM的运动系数视为中间表征，并将任务分为两个主要部分，旨在从音频中生成更真实的运动系数，并单独学习每个运动以减少不确定性。