这次 VideoMemBench 视频记忆评测一共拉了 25 个大模型来测试,Claude Opus 5 拿到 45.7 分,是全部参评模型里成绩最高的,不过这个分数和人类 86.1 分的基准分还有很大差距,说明就算是顶尖多模态大模型,长对话里的视频记忆依然是明显短板。这套测试和普通视频问答不一样,普通测试每一题独立,而 VideoMemBench 设计了大量跨轮次依赖问题,一类是回头回忆视频里前面出现过的画面情节,一类是要记住模型自己上几轮给出的回答,后面的问题必须依托前面信息才能答对,没法单独从单帧画面直接得出答案;测试统一输入带时间戳的 128 个视频帧,问题一轮一轮顺序抛出,之前的回答全部保留在上下文里,最后综合得分是逐轮回答准确率、场景依赖准确率、答案依赖准确率三项指标取平均值,在这套严苛规则下,Claude Opus 5 虽然排第一,但最难的答案依赖指标只有 35.7 分,只要前面任意一轮回答出错,后面关联的问题就跟着丢分,轮次隔得越远、需要串联的历史信息越多,模型答错概率就越高。
参评头部模型得分表
| 模型名称 | 综合得分 |
|---|---|
| Claude Opus 5 | 45.7 |
| Gemini 3.8 Flash | 42.4 |
| Kimi K3 | 42.2 |
| GPT-5.6-sol | 41.7 |
| Qwen3.5-27B | 34.3 |
评测核心指标说明
- TurnAcc(逐轮回答准确率):单轮问题本身回答正确的比例,Claude Opus 5 该项 52.3 分
- EpiDepAcc(场景依赖准确率):需要回溯视频更早画面情节的问题正确率,Claude Opus 5 该项 49.1 分
- AnsDepAcc(答案依赖准确率):需要依托模型过往回答链条的问题正确率,也是本次最难指标,Claude Opus 5 该项 35.7 分
测试数据集基础信息
- 数据集名称:VideoMemBench
- 视频样本:326 条视频
- 对话总轮次:2476 轮
- 带跨轮依赖的问题:1387 条
- 参评模型:25 款(8 款闭源、17 款开源多模态大模型)
【相关 FAQ】
问题 1:Claude Opus 5 在 25 个大模型视频记忆大考拿到 45.7 分,这个成绩算很强吗?
回答 1:在本次 25 个参评大模型里,Claude Opus 5 的 45.7 分是第一名,属于这批模型里视频记忆能力最好的,但对比人类 86.1 分基准还有巨大差距,45.7 分本身不算高分,代表顶尖模型的跨轮视频记忆依然有明显缺陷。
问题 2:25 个大模型视频记忆大考的 VideoMemBench,和普通的视频问答测试差别在哪?
回答 2:普通视频问答的题目互相独立,不用记住之前对话;VideoMemBench 专门考察长上下文记忆,大量问题要回溯前面视频画面或者依赖模型之前给出的回答,只要前面链条出错,后续关联问题就会失效,更贴近真实连续视频对话场景。
问题 3:Claude Opus 5 45.7 分的视频记忆评测里,哪个指标最难拉分?
回答 3:答案依赖准确率 AnsDepAcc 最难,Claude Opus 5 这项仅 35.7 分,远低于另外两项指标,也是所有头部模型普遍的薄弱点,根源是模型很难稳定维持一整条连续正确的回答链条。
【参考资料】
[2026-11-21](Claude Opus 5 拿到 45.7 分,25 个大模型视频记忆大考)新浪财经
[2026-11-03](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv
[2026-10-29](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv
【免责声明】
本文数据仅基于 VideoMemBench 这一场特定视频记忆基准测试结果,Claude Opus 5 45.7 分仅代表该评测规则下的表现,不能直接等同于模型全部多模态能力;不同评测集、提示词、输入帧数量、参数版本都会带来分数变化,内容仅供信息参考,不构成模型选型、采购的决策依据。
本文来自作者[虚芯广播]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/4021.html
评论列表(4条)
我是环球科技潮的签约作者“虚芯广播”!
希望本篇文章《Claude Opus 5拿到45.7分,25个大模型视频记忆大考》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:这次 VideoMemBench 视频记忆评测一共拉了 25 个大模型来测试,Claude Opus 5 拿到 45.7 分,是全部参评模型里成绩最高的,不过这个分数和人类 86.1 分的基准分还有很大差距,说明就算是顶尖多模态大模型,长对话里的视频记忆依然是明显短板。这套测试和普通视频问答不一样,普通测试每一题独立,而 VideoMemBench 设计了大量跨轮次依赖问题,一类是回头回忆视频里前面出现过的画面情节,一类是要记住模型自己上几轮给出的回答,后面的问题必须依托前面信息才能答对,没法单独从单帧画面直接得出答案;测试统一输入带时间戳的 128 个视频帧,问题一轮一轮顺序抛出,之前的回答全部保留在上下文里,最后综合得分是逐轮回答准确率、场景依赖准确率、答案依赖准确率三项指标取平均值,在这套严苛规则下,Claude Opus 5 虽然排第一,但最难的答案依赖指标只有 35.7 分,只要前面任意一轮回答出错,后面关联的问题就跟着丢分,轮次隔得越远、需要串联的历史信息越多,模型答错概率就越高。