Claude Opus 5拿到45.7分,25个大模型视频记忆大考

这次 VideoMemBench 视频记忆评测一共拉了 25 个大模型来测试,Claude Opus 5 拿到 45.7 分,是全部参评模型里成绩最高的,不过这个分数和人类 86.1 分的基准分还有很大差距,说明就算是顶尖多模态大模型,长对话里的视频记忆依然是明显短板。这套测试和普通视频问答不一样,普通测试每一题独立,而 VideoMemBench 设计了大量跨轮次依赖问题,一类是回头回忆视频里前面出现过的画面情节,一类是要记住模型自己上几轮给出的回答,后面的问题必须依托前面信息才能答对,没法单独从单帧画面直接得出答案;测试统一输入带时间戳的 128 个视频帧,问题一轮一轮顺序抛出,之前的回答全部保留在上下文里,最后综合得分是逐轮回答准确率、场景依赖准确率、答案依赖准确率三项指标取平均值,在这套严苛规则下,Claude Opus 5 虽然排第一,但最难的答案依赖指标只有 35.7 分,只要前面任意一轮回答出错,后面关联的问题就跟着丢分,轮次隔得越远、需要串联的历史信息越多,模型答错概率就越高。

参评头部模型得分表

模型名称综合得分
Claude Opus 545.7
Gemini 3.8 Flash42.4
Kimi K342.2
GPT-5.6-sol41.7
Qwen3.5-27B34.3

评测核心指标说明

  1. TurnAcc(逐轮回答准确率):单轮问题本身回答正确的比例,Claude Opus 5 该项 52.3 分
  2. EpiDepAcc(场景依赖准确率):需要回溯视频更早画面情节的问题正确率,Claude Opus 5 该项 49.1 分
  3. AnsDepAcc(答案依赖准确率):需要依托模型过往回答链条的问题正确率,也是本次最难指标,Claude Opus 5 该项 35.7 分

测试数据集基础信息

  • 数据集名称:VideoMemBench
  • 视频样本:326 条视频
  • 对话总轮次:2476 轮
  • 带跨轮依赖的问题:1387 条
  • 参评模型:25 款(8 款闭源、17 款开源多模态大模型)

【相关 FAQ】

问题 1:Claude Opus 5 在 25 个大模型视频记忆大考拿到 45.7 分,这个成绩算很强吗?

回答 1:在本次 25 个参评大模型里,Claude Opus 5 的 45.7 分是第一名,属于这批模型里视频记忆能力最好的,但对比人类 86.1 分基准还有巨大差距,45.7 分本身不算高分,代表顶尖模型的跨轮视频记忆依然有明显缺陷。

问题 2:25 个大模型视频记忆大考的 VideoMemBench,和普通的视频问答测试差别在哪?

回答 2:普通视频问答的题目互相独立,不用记住之前对话;VideoMemBench 专门考察长上下文记忆,大量问题要回溯前面视频画面或者依赖模型之前给出的回答,只要前面链条出错,后续关联问题就会失效,更贴近真实连续视频对话场景。

问题 3:Claude Opus 5 45.7 分的视频记忆评测里,哪个指标最难拉分?

回答 3:答案依赖准确率 AnsDepAcc 最难,Claude Opus 5 这项仅 35.7 分,远低于另外两项指标,也是所有头部模型普遍的薄弱点,根源是模型很难稳定维持一整条连续正确的回答链条。

【参考资料】

[2026-11-21](Claude Opus 5 拿到 45.7 分,25 个大模型视频记忆大考)新浪财经

[2026-11-03](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv

[2026-10-29](VideoMemBench: How Well Do MLLMs Remember in Video Conversations?)arXiv

【免责声明】

本文数据仅基于 VideoMemBench 这一场特定视频记忆基准测试结果,Claude Opus 5 45.7 分仅代表该评测规则下的表现,不能直接等同于模型全部多模态能力;不同评测集、提示词、输入帧数量、参数版本都会带来分数变化,内容仅供信息参考,不构成模型选型、采购的决策依据。

本文来自作者[虚芯广播]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/rgzn/202611/4021.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 虚芯广播
    虚芯广播 2026年11月22日

    我是环球科技潮的签约作者“虚芯广播”!

  • 虚芯广播
    虚芯广播 2026年11月22日

    希望本篇文章《Claude Opus 5拿到45.7分,25个大模型视频记忆大考》能对你有所帮助!

  • 虚芯广播
    虚芯广播 2026年11月22日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 虚芯广播
    虚芯广播 2026年11月22日

    本文概览:这次 VideoMemBench 视频记忆评测一共拉了 25 个大模型来测试,Claude Opus 5 拿到 45.7 分,是全部参评模型里成绩最高的,不过这个分数和人类 86.1 分的基准分还有很大差距,说明就算是顶尖多模态大模型,长对话里的视频记忆依然是明显短板。这套测试和普通视频问答不一样,普通测试每一题独立,而 VideoMemBench 设计了大量跨轮次依赖问题,一类是回头回忆视频里前面出现过的画面情节,一类是要记住模型自己上几轮给出的回答,后面的问题必须依托前面信息才能答对,没法单独从单帧画面直接得出答案;测试统一输入带时间戳的 128 个视频帧,问题一轮一轮顺序抛出,之前的回答全部保留在上下文里,最后综合得分是逐轮回答准确率、场景依赖准确率、答案依赖准确率三项指标取平均值,在这套严苛规则下,Claude Opus 5 虽然排第一,但最难的答案依赖指标只有 35.7 分,只要前面任意一轮回答出错,后面关联的问题就跟着丢分,轮次隔得越远、需要串联的历史信息越多,模型答错概率就越高。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们