京东开源JoyAI-Video-Edit:实时流式视频编辑,边播边改

京东最近干了一件挺酷的事——把自己研发的实时视频编辑模型JoyAI-Video-Edit开源了。

这个模型的核心卖点是“边播边改”。传统视频编辑得先拍完、再剪辑、再渲染,整个过程费时费力。JoyAI-Video-Edit打破了这套流程,让你在视频播放的同时就能实时修改画面内容,而且是流式处理,不会因为视频太长就卡壳。

技术参数上,在720P分辨率下能稳定跑30帧,画面处理没有明显延迟。这意味着什么?你在看直播的时候,可以实时给主播换衣服、换背景,甚至把整个画面风格从写实变成动漫风,观众那边几乎感觉不到卡顿。

具体能改什么?

  • 人物着装——实时换装
  • 实体物件——添加或删除画面中的物品
  • 整体场景——把室内换成室外,把白天换成夜晚
  • 艺术风格——一键切换画面风格
  • 字幕——智能修改视频中的文字内容

在OpenVE-Bench这个专业的流式视频编辑评测里,JoyAI-Video-Edit的表现超过了SANA Streaming、LiveEdit等海外主流模型,特别是在全局风格转换、局部物体增减、字幕修改这几个维度上优势明显。

应用场景也很实在:

电商直播——实时切换展示的商品和模特穿搭,不用每次都重新布景
家装设计——快速替换家具样式和装修风格,客户想看什么风格立刻就能呈现
影视制作——拍摄现场即时调整场景和人物造型,减少重拍成本
工业训练——批量生成机器人训练数据,把真人操作视频一键转成机械臂作业素材

这次开源之后,JoyAI的版图也更完整了——图像创作、长音视频处理、实时交互、语音合成、机器人动作控制,全链路AI能力基本凑齐。

模型已经在Hugging Face和GitHub上开源,感兴趣的开发者和内容创作者可以直接下载部署,进行二次开发。

本文地址:https://www.163264.com/14651

(0)
AI日报:商汤8B小钢炮U1.5-Lite-Preview发布;MiniMax H3开源排除美国;微软自研全双工AI语音模型曝光
上一篇 2天前
美团CatPaw开放:9万人内测三年的AI工作台,专治本地生活经营难题
下一篇 1天前

相关推荐