AI视频生成解决方案Rerender A Video已开源

内容：SIGGRAPH Asia 2023会议上，研究人员提出了一种名为“Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation”的新框架，用于将图像模型适应到视频中。这个框架包括两个部分：关键帧翻译和完整视频翻译。首先，通过改进的扩散模型生成关键帧，并应用分层跨帧约束以保证形状、纹理和颜色的一致性。其次，通过时间感知的补丁匹配和帧混合，将关键帧传播到其他帧。该框架能够在低成本下实现全局风格和局部纹理的时间一致性，并且与现有的图像扩散技术兼容。实验结果表明，该框架在渲染高质量和时间连贯的视频方面，优于现有的方法。

代码地址：

https://github.com/williamyang1991/Rerender_A_Video

来源：https://mp.weixin.qq.com/s/DHpFD6N9oQD4JNGPFV9KRg