Agent 第一次学会「按事件」记视频：openJiuwen 开源视听双流记忆，问答时延从 34.5 秒压到 1.72 秒

把一场三个小时的新品发布会完整看一遍，列出所有产品亮点；或者把一整天的门店监控过一遍，标出可疑事件。这样的任务交给人，是耐心问题；交给 Agent，是记忆问题。

长视频一旦超过上下文窗口，模型就只能「忘」。行业里最常见的做法是按固定时间切段，比如每 60 秒切一块，分别摘要、分别存储。看上去井井有条，实际上把连续的事件切成了碎片：一段完整的讲解被拦腰截断，几秒钟的关键动作和几分钟无关画面被打包在一起。Agent 拿着这样的记忆去回答提问，自然容易断章取义。

一分钟速览

• openJiuwen AgentMemory 0.2.0 上线多模态记忆能力 OmniMem-Lens，用视觉与听觉两条轨迹定位事件边界。
• 记忆分三层：L0 原始视频帧、L1 事件大纲、L2 细节索引，L1 与 L2 全部文本化、向量化。
• 三个长视频问答基准全面领先：Video-MME-L 提升 8%，LVbench 提升 6.4%，EgoLife-QA 提升 45.7%。
• 在线问答时延从 34.5 秒降到 1.72 秒，官方给出的最高降幅为 97%。
• 可直接接入主流向量数据库，已有 RAG 与 Agent 技术栈几乎零改造。

问题不在算力，在「切分」

人类回忆一部电影，记住的是「主角相遇、误会、和解」这样的情节单元，而不是每 60 秒一段的录像带。可今天的 Agent 恰恰是拿秒表在记电影。固定窗口切分带来两个致命伤：一是证据碎片化，跨过切分点的事件被拆到两个记忆里，检索时只能拿到半句话；二是证据被稀释，几秒钟的关键动作淹没在大量背景画面中，召回精度断崖式下跌。

更麻烦的是，多数视频事件分割方案只依赖单一模态。只看画面，遇到镜头长时间不动、但话题已经切换的情况就会失灵；只听语音，遇到没有台词、只有动作的片段同样抓瞎。两条路各自都不够用。

视听双轨，按真实事件下刀

OmniMem-Lens 的思路是给 Agent 同时装上「眼睛」和「耳朵」。眼睛看画面，在镜头切换、场景变化时打标记；耳朵听语音，通过 ASR 转录判断说话人是否换了话题。两路证据交叉验证，切分点落在真实的事件边界上，而不是钟表刻度上。团队把它比作给智能体装了一个懂得自动定焦、分层整理的「海马体」。

切完之后，记忆按颗粒度分成三层。L0 保存原始视频帧，负责最终核对；L1 是事件级大纲，回答「这段视频讲了什么」；L2 是更细的片段索引，回答「那句话出现在哪里」。三层各司其职，检索时按需取用，既不会一上来就把几个小时的画面全塞进上下文，也不会只剩一份过度压缩的摘要。

工程上最关键的一步，是把 L1 与 L2 做成纯文本与向量。这意味着它们可以直接写进主流向量数据库，企业现有的 RAG 流程、权限体系、检索服务基本不用重写。对一个要落地到业务里的记忆系统来说，这比多刷几个点的准确率更重要。

离线建记忆，在线只查表

如果每次提问都要把三小时视频重看一遍，再聪明的模型也扛不住。OmniMem-Lens 把繁重的整理工作提前到离线阶段：视频入库时完成切分、摘要、向量化；用户提问时，先用 Query 去匹配 L1、L2 的记忆单元，快速定位到相关事件，只有确实需要核对画面细节时，才按需调取 L0 的原始帧。轻量文本索引加延迟调取原片，构成了整条链路的骨架。

这套设计带来的时延变化非常直观。在 LVbench 上，让 Qwen3-VL-8B 直接「啃」完整视频，端到端要等 34.5 秒；接入 OmniMem-Lens 后，同一套问答只需 1.72 秒。用户感受到的差别，是从「泡杯咖啡再回来看答案」变成「话音落下答案就到」。

数据说话：越琐碎的场景，收益越大

团队在三个主流长视频问答评测集上做了对照，基础模型统一为 Qwen3-VL-8B。通用长视频基准 Video-MME-L 上，记忆召回精度提升 8%；偏重长视频理解的 LVbench 提升 6.4%；提升最猛的是 EgoLife-QA，达到 45.7%。

这个结果并不意外。EgoLife-QA 记录的是第一人称的一整天生活，事件密集、细节琐碎、边界模糊，正是固定切分最容易失效的场景。越是「像人的生活」的视频，按事件记忆的价值就越大。反过来也可以说，过去 Agent 在长视频上表现不佳，很大一部分不是模型看不懂，而是记忆在源头就被切坏了。

Agent 的下一场仗，是记忆

过去一年，行业把大量注意力放在上下文长度上：从 128K 到百万级，参数越堆越高。但长度不等于记忆。把整本书塞进窗口，和真正记住书里发生了什么，是两件事。前者靠显存，后者靠结构。

openJiuwen 这次把记忆拆成「怎么切、怎么存、怎么取」三个问题，并给出了一个可复用的工程答案。对做会议记录、客服质检、安防巡检、在线教育、内容审核的团队来说，这类能力的意义很直接：同样一段视频，过去只能做粗粒度的标签，现在可以追问到具体事件和具体画面。

更长远地看，多模态记忆会成为 Agent 的基础设施。文本记忆已经相对成熟，视频记忆才刚刚起步。谁先把「按事件组织」这件事做扎实，谁就更有机会让 Agent 从「能看」走到「记得住、找得到、说得清」。openJiuwen 把 AgentMemory 0.2.0 与 OmniMem-Lens 开放出来，至少让这条路径多了一个可以亲手验证的选项。