MagicAnimate：基于单张图像的视频生成框架
动画视频生成技术近期备受关注。新加坡国立大学 Show 实验室和字节联合提出的 MagicAnimate 框架，不仅效果自然流畅，还在视频保真度方面优于其他方法。相比之下，阿里研究团队此前构建的 Animate Anyone 虽然也能通过一张人物照片配合骨骼动画引导生成自然动画视频，但其源代码尚未发布。
MagicAnimate 旨在增强时间一致性、忠实地保留参考图像并提升动画保真度。项目已开源，推理代码和 Gradio 在线 Demo 已发布。
为了实现上述目标，研究者首先开发了一个视频扩散模型来编码时间信息。接着为了保持跨帧的外观连贯性，他们引入了新颖的外观编码器来保留参考图像的复杂细节。利用这两个创新，研究者进一步使用简单的视频融合技术来保证长视频动画的平滑过渡。
实验结果表明，MagicAnimate 在两项基准测试上均优于基线方法。尤其在具有挑战性的 TikTok 跳舞数据集上，本文方法在视频保真度方面比最强基线方法高出 38% 以上。
除了单人舞蹈，MagicAnimate 还能处理多人场景及不同风格的人物动作。
此外，该框架还支持非人类角色的动画化，例如让超级英雄动起来或让经典画作进行瑜伽动作。
