Claude Opus 5 拿下 45.7 分25 款大模型 VideoMemBench 视频记忆评测完整解读

这次 VideoMemBench 视频记忆大考一共测了 25 个多模态大模型,Claude Opus 5 拿到全场最高 45.7 分,是本次榜单里表现最好的模型,但这个分数距离人类标注者 86.1 分还有巨大差距,说明就算是前沿旗舰模型,长轮次视频对话记忆依然是明显短板;这个评测和普通视频问答不一样,它专门考察跨轮次依赖记忆,问题不是独立的,后面的提问要参考前面视频画面、还有模型自己之前给出的回答,评测流程是统一输入带时间戳的 128 帧采样视频,逐轮抛出关联问题,保留历史对话上下文,最后用三项指标取平均算出综合分,大家看榜单的时候不能只看总分,重点要看最难的答案依赖指标,很多模型前面答对,后面跟着前面的错误结论继续跑偏,这个也是落地视频 Agent、长视频复盘产品要重点规避的坑。

一、评测基准介绍(VideoMemBench)

这个评测基准专门针对多模态模型的视频对话记忆,和常规视频 QA 有本质区别,常规视频问答每一题独立,不需要回看历史对话;而 VideoMemBench 是长链式对话,大量题目存在强依赖关系。

  • 数据集规模:326 条视频,2476 轮对话,其中 1387 轮存在跨轮依赖,包含远距离回溯、多父节点依赖
  • 输入统一规则:全部使用 128 个带时间戳视频帧作为输入,不喂完整视频流
  • 三大评分指标(百分制)
  • 综合得分 = 三项指标算术平均值
指标全称含义
TurnAcc逐轮回答准确率单轮问题本身回答是否正确
EpiDepAcc场景依赖准确率能不能记住视频早期画面、事件信息
AnsDepAcc答案依赖准确率整条推理链全部正确,前面答错后面就算对也不计分,是最难指标

二、本次 25 个模型核心榜单(头部)

模型综合得分TurnAccEpiDepAccAnsDepAcc
Claude Opus 545.752.349.135.7
Gemini 3.8 Flash42.450.446.630.3
Kimi K342.2无细分公开数据无细分公开数据无细分公开数据
GPT-5.6-sol41.750.044.228.5
Qwen3.5-27B34.3无细分公开数据无细分公开数据无细分公开数据

整个 25 个模型里,8 个闭源、17 个开源多模态模型,开源模型整体分数普遍低于闭源旗舰,远距离回溯的丢信息问题更突出。

三、评测核心结论

  1. 即便是第一名 Claude Opus 5,最难的答案依赖指标只有 35.7 分,链式记忆非常容易断,只要前面一轮出错,后续依赖它的回答基本都会跟着错
  2. 依赖距离越长,模型准确率下滑明显:当问题需要回溯前面至少 5 轮内容时,全部模型平均准确率从 30.2% 跌到 23.1%
  3. 人类标注者综合得分 86.1 分,和最好模型之间差距巨大,视频上下文记忆是当前多模态模型的共性瓶颈
  4. 分数高不等于视频理解全能:这个基准只测对话记忆链式回溯,不代表通用视频描述、视频摘要、视频定位能力更强

四、对业务落地的参考意义

✅ 适合参考这个评测的场景

长视频交互式复盘、视频客服对话、视频 Agent、多轮视频取证问答、教学视频交互式答疑,这类产品需要模型记住前面视频细节和历史回答。

❌ 不适合拿这个分数直接判断的场景

短视频一键摘要、视频标签提取、单轮视频提问、画面物体识别,这些任务不涉及跨轮链式依赖,不受这个基准约束。

五、优化思路

  1. 业务上拆分长对话,不要一次性堆几十轮强依赖提问,主动做记忆快照、摘要归档
  2. 远距离回溯场景,额外检索原始视频帧,不要只靠模型内部上下文记忆
  3. 做结果校验,针对答案依赖链路,增加单独校验环节,避免错误信息顺着对话链扩散
  4. 选型参考:长链式视频对话优先 Claude Opus5;预算有限可以对比 Gemini3.8 Flash、Kimi K3

【相关 FAQ】

问题 1:Claude Opus 5 在 25 个大模型视频记忆大考拿到 45.7 分,这个分数算高吗?

回答 1:Claude Opus 5 在 25 个大模型视频记忆大考里 45.7 分是本次评测第一,但对比人类 86.1 分差距很大,而且最难的答案依赖指标仅 35.7 分,说明长链式视频记忆依然有明显短板。

问题 2:这个 25 个大模型视频记忆大考的 VideoMemBench 和普通视频问答评测有什么不一样?

回答 2:25 个大模型视频记忆大考用的 VideoMemBench 主打跨轮依赖测试,后面的问题要依赖前面视频画面和模型之前的回答;普通视频问答每一题独立,不需要串联历史对话,考核难度低很多。

问题 3:Claude Opus 5 拿到 45.7 分,是不是代表它所有视频理解任务都最强?

回答 3:不是,Claude Opus 5 在这次 25 个大模型视频记忆大考只证明链式视频对话记忆最优,这个基准不考核视频摘要、画面识别、视频生成等别的视频能力,不能直接等同于全场景视频理解最强。

问题 4:25 个大模型视频记忆大考里答案依赖指标为什么分数普遍偏低?

回答 4:25 个大模型视频记忆大考里答案依赖指标要求整条推理链全部正确,前面一轮答错,后面就算回答正确也不计分,而大模型很容易累积错误,所以这个指标是所有模型的短板。

问题 5:做视频交互式 Agent,能不能直接选本次 25 个大模型视频记忆大考第一名 Claude Opus5?

回答 5:可以优先考虑 Claude Opus5,但不能只看这个榜单,它虽然记忆链式回溯领先,依然会远距离丢信息,业务上最好搭配视频检索、记忆快照、结果校验一起使用。

【参考资料】

[2026-11-21](Claude Opus 5 拿到 45.7 分,25 个大模型视频记忆大考)新浪财经

[2026-10-29](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv

[2026-11-03](VideoMemBench 多模态视频记忆评测论文解读)机器之心

[2026-11-15](多模态大模型视频记忆评测怎么看,VideoMemBench 指标拆解)AI 科技评论

【免责声明】

本文内容基于 VideoMemBench 论文以及公开媒体报道整理,Claude Opus5、Gemini、Kimi、Qwen 等模型在本次 25 个大模型视频记忆大考的得分仅针对该特定评测基准,不同评测集、输入方式、提示词都会带来完全不同结果;本评测结果不代表模型综合能力,不构成模型选型、商业采购建议,上线视频相关业务前,请结合自身业务场景单独测试验证。

本文来自作者[暗码校准客]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/jqr/202611/3905.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 暗码校准客
    暗码校准客 2026年11月21日

    我是环球科技潮的签约作者“暗码校准客”!

  • 暗码校准客
    暗码校准客 2026年11月21日

    希望本篇文章《Claude Opus 5 拿下 45.7 分25 款大模型 VideoMemBench 视频记忆评测完整解读》能对你有所帮助!

  • 暗码校准客
    暗码校准客 2026年11月21日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 暗码校准客
    暗码校准客 2026年11月21日

    本文概览:这次 VideoMemBench 视频记忆大考一共测了 25 个多模态大模型,Claude Opus 5 拿到全场最高 45.7 分,是本次榜单里表现最好的模型,但这个分数距离人类标注者 86.1 分还有巨大差距,说明就算是前沿旗舰模型,长轮次视频对话记忆依然是明显短板;这个评测和普通视频问答不一样,它专门考察跨轮次依赖记忆,问题不是独立的,后面的提问要参考前面视频画面、还有模型自己之前给出的回答,评测流程是统一输入带时间戳的 128 帧采样视频,逐轮抛出关联问题,保留历史对话上下文,最后用三项指标取平均算出综合分,大家看榜单的时候不能只看总分,重点要看最难的答案依赖指标,很多模型前面答对,后面跟着前面的错误结论继续跑偏,这个也是落地视频 Agent、长视频复盘产品要重点规避的坑。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们