这次 VideoMemBench 视频记忆大考一共测了 25 个多模态大模型,Claude Opus 5 拿到全场最高 45.7 分,是本次榜单里表现最好的模型,但这个分数距离人类标注者 86.1 分还有巨大差距,说明就算是前沿旗舰模型,长轮次视频对话记忆依然是明显短板;这个评测和普通视频问答不一样,它专门考察跨轮次依赖记忆,问题不是独立的,后面的提问要参考前面视频画面、还有模型自己之前给出的回答,评测流程是统一输入带时间戳的 128 帧采样视频,逐轮抛出关联问题,保留历史对话上下文,最后用三项指标取平均算出综合分,大家看榜单的时候不能只看总分,重点要看最难的答案依赖指标,很多模型前面答对,后面跟着前面的错误结论继续跑偏,这个也是落地视频 Agent、长视频复盘产品要重点规避的坑。
一、评测基准介绍(VideoMemBench)
这个评测基准专门针对多模态模型的视频对话记忆,和常规视频 QA 有本质区别,常规视频问答每一题独立,不需要回看历史对话;而 VideoMemBench 是长链式对话,大量题目存在强依赖关系。
- 数据集规模:326 条视频,2476 轮对话,其中 1387 轮存在跨轮依赖,包含远距离回溯、多父节点依赖
- 输入统一规则:全部使用 128 个带时间戳视频帧作为输入,不喂完整视频流
- 三大评分指标(百分制)
- 综合得分 = 三项指标算术平均值
| 指标 | 全称 | 含义 |
|---|---|---|
| TurnAcc | 逐轮回答准确率 | 单轮问题本身回答是否正确 |
| EpiDepAcc | 场景依赖准确率 | 能不能记住视频早期画面、事件信息 |
| AnsDepAcc | 答案依赖准确率 | 整条推理链全部正确,前面答错后面就算对也不计分,是最难指标 |
二、本次 25 个模型核心榜单(头部)
| 模型 | 综合得分 | TurnAcc | EpiDepAcc | AnsDepAcc |
|---|---|---|---|---|
| Claude Opus 5 | 45.7 | 52.3 | 49.1 | 35.7 |
| Gemini 3.8 Flash | 42.4 | 50.4 | 46.6 | 30.3 |
| Kimi K3 | 42.2 | 无细分公开数据 | 无细分公开数据 | 无细分公开数据 |
| GPT-5.6-sol | 41.7 | 50.0 | 44.2 | 28.5 |
| Qwen3.5-27B | 34.3 | 无细分公开数据 | 无细分公开数据 | 无细分公开数据 |
整个 25 个模型里,8 个闭源、17 个开源多模态模型,开源模型整体分数普遍低于闭源旗舰,远距离回溯的丢信息问题更突出。
三、评测核心结论
- 即便是第一名 Claude Opus 5,最难的答案依赖指标只有 35.7 分,链式记忆非常容易断,只要前面一轮出错,后续依赖它的回答基本都会跟着错
- 依赖距离越长,模型准确率下滑明显:当问题需要回溯前面至少 5 轮内容时,全部模型平均准确率从 30.2% 跌到 23.1%
- 人类标注者综合得分 86.1 分,和最好模型之间差距巨大,视频上下文记忆是当前多模态模型的共性瓶颈
- 分数高不等于视频理解全能:这个基准只测对话记忆链式回溯,不代表通用视频描述、视频摘要、视频定位能力更强
四、对业务落地的参考意义
✅ 适合参考这个评测的场景
长视频交互式复盘、视频客服对话、视频 Agent、多轮视频取证问答、教学视频交互式答疑,这类产品需要模型记住前面视频细节和历史回答。
❌ 不适合拿这个分数直接判断的场景
短视频一键摘要、视频标签提取、单轮视频提问、画面物体识别,这些任务不涉及跨轮链式依赖,不受这个基准约束。
五、优化思路
- 业务上拆分长对话,不要一次性堆几十轮强依赖提问,主动做记忆快照、摘要归档
- 远距离回溯场景,额外检索原始视频帧,不要只靠模型内部上下文记忆
- 做结果校验,针对答案依赖链路,增加单独校验环节,避免错误信息顺着对话链扩散
- 选型参考:长链式视频对话优先 Claude Opus5;预算有限可以对比 Gemini3.8 Flash、Kimi K3
【相关 FAQ】
问题 1:Claude Opus 5 在 25 个大模型视频记忆大考拿到 45.7 分,这个分数算高吗?
回答 1:Claude Opus 5 在 25 个大模型视频记忆大考里 45.7 分是本次评测第一,但对比人类 86.1 分差距很大,而且最难的答案依赖指标仅 35.7 分,说明长链式视频记忆依然有明显短板。
问题 2:这个 25 个大模型视频记忆大考的 VideoMemBench 和普通视频问答评测有什么不一样?
回答 2:25 个大模型视频记忆大考用的 VideoMemBench 主打跨轮依赖测试,后面的问题要依赖前面视频画面和模型之前的回答;普通视频问答每一题独立,不需要串联历史对话,考核难度低很多。
问题 3:Claude Opus 5 拿到 45.7 分,是不是代表它所有视频理解任务都最强?
回答 3:不是,Claude Opus 5 在这次 25 个大模型视频记忆大考只证明链式视频对话记忆最优,这个基准不考核视频摘要、画面识别、视频生成等别的视频能力,不能直接等同于全场景视频理解最强。
问题 4:25 个大模型视频记忆大考里答案依赖指标为什么分数普遍偏低?
回答 4:25 个大模型视频记忆大考里答案依赖指标要求整条推理链全部正确,前面一轮答错,后面就算回答正确也不计分,而大模型很容易累积错误,所以这个指标是所有模型的短板。
问题 5:做视频交互式 Agent,能不能直接选本次 25 个大模型视频记忆大考第一名 Claude Opus5?
回答 5:可以优先考虑 Claude Opus5,但不能只看这个榜单,它虽然记忆链式回溯领先,依然会远距离丢信息,业务上最好搭配视频检索、记忆快照、结果校验一起使用。
【参考资料】
[2026-11-21](Claude Opus 5 拿到 45.7 分,25 个大模型视频记忆大考)新浪财经
[2026-10-29](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv
[2026-11-03](VideoMemBench 多模态视频记忆评测论文解读)机器之心
[2026-11-15](多模态大模型视频记忆评测怎么看,VideoMemBench 指标拆解)AI 科技评论
【免责声明】
本文内容基于 VideoMemBench 论文以及公开媒体报道整理,Claude Opus5、Gemini、Kimi、Qwen 等模型在本次 25 个大模型视频记忆大考的得分仅针对该特定评测基准,不同评测集、输入方式、提示词都会带来完全不同结果;本评测结果不代表模型综合能力,不构成模型选型、商业采购建议,上线视频相关业务前,请结合自身业务场景单独测试验证。
本文来自作者[暗码校准客]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/jqr/202611/3905.html
评论列表(4条)
我是环球科技潮的签约作者“暗码校准客”!
希望本篇文章《Claude Opus 5 拿下 45.7 分25 款大模型 VideoMemBench 视频记忆评测完整解读》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:这次 VideoMemBench 视频记忆大考一共测了 25 个多模态大模型,Claude Opus 5 拿到全场最高 45.7 分,是本次榜单里表现最好的模型,但这个分数距离人类标注者 86.1 分还有巨大差距,说明就算是前沿旗舰模型,长轮次视频对话记忆依然是明显短板;这个评测和普通视频问答不一样,它专门考察跨轮次依赖记忆,问题不是独立的,后面的提问要参考前面视频画面、还有模型自己之前给出的回答,评测流程是统一输入带时间戳的 128 帧采样视频,逐轮抛出关联问题,保留历史对话上下文,最后用三项指标取平均算出综合分,大家看榜单的时候不能只看总分,重点要看最难的答案依赖指标,很多模型前面答对,后面跟着前面的错误结论继续跑偏,这个也是落地视频 Agent、长视频复盘产品要重点规避的坑。