阿里巴巴的新项目 MotionShop:将视频中的角色替换为3D化身

阿里巴巴的新项目 MotionShop:将视频中的角色替换为3D化身

通过先进的视频处理和3D渲染技术,MotionShop能够高效地将视频中的某个角色替换为3D人物,同时不改变视频中的其他场景和人物。

被替换的3D人物能完整复刻原视频中人物的动作,保持动作一致。

MotionShop的技术原理:

1、视频处理和背景提取: 利用视频处理技术,从原始视频中分离出人物,留下无人的背景。这一步涉及复杂的图像分析和处理,以确保背景的完整性和连贯性。

角色检测: 使用基于变换器的框架紧密融合文本信息与现有封闭集检测器,实现零样本对象检测。

分割与追踪: 成功检测目标后,通过视频对象分割追踪方法跟踪像素级目标区域。

修补: 视频中剩余的图像区域通过视频修补技术完成,包括递归流完成、图像和特征域的双域传播等。

2、姿势估计: 这一步骤使用姿势估计技术来分析视频中人物的动作。它涉及到对人体动作的捕捉和分析,使用CVFFS方法估计稳定的人体姿势,并采用SMPL人体模型表示3D人体。

3、3D动画人物生成: 根据估计出的姿势和动作,生成相应的3D动画人物。这个过程需要确保3D模型的动作与原视频中的人物动作相匹配。

4、光照估计: 为了让3D模型更自然地融入原视频背景,需要估计视频中的光照条件,并对3D模型进行相应的光照处理。

5、高性能渲染: 使用如TIDE这样的高性能光线追踪渲染器对3D模型进行渲染,确保其具有高度的真实感和视觉效果。

6、视频合成: 最后,将渲染好的3D动画人物合成回无人背景视频中,生成最终的视频成果。

项目地址:

https://aigc3d.github.io/motionshop/

本文地址:https://www.163264.com/6143

(0)
上一篇 2024年1月15日 下午8:04
下一篇 2024年1月17日 上午10:53