腾讯元宝和伦敦国王学院(KCL)联合对外发布了一款全新 Agent 记忆评测基准,直接采用 8 万条真实群聊对话原始数据加工成标准化考卷,专门用来测试 AI 智能体在多人闲聊、信息零散、穿插闲聊和任务信息这种真实群聊环境下的长期记忆能力,和以往大多用单轮对话、干净结构化问答的评测集不一样,群聊里信息是碎片化的、多人交替发言、话题来回跳转,还有大量无效灌水内容,这个基准就是用来还原真实微信群、项目群的复杂交互场景,判断 Agent 能不能过滤无效信息、记住关键约定、人物偏好、时间安排,准确回答跨很久之前埋在聊天记录里的问题,给行业提供贴近真实团队协作场景的记忆效果对比标尺。
基准基础信息清单
- 合作主体:腾讯元宝、伦敦国王学院 KCL
- 原始素材规模:8 万条真实群聊消息
- 数据处理形式:清洗标注,转化为标准化评测考卷
- 定位:首个基于群聊对话构建的 Agent 记忆 Benchmark
- 核心测试目标:多人交替对话下的记忆筛选、信息召回、事实推理
- 场景对标:项目工作群、兴趣社群这类多人长期聊天场景
和传统 Agent 记忆评测基准对比
| 对比项目 | 腾讯元宝 ×KCL 群聊 Agent 记忆基准 | 传统 Agent 记忆评测基准 |
|---|---|---|
| 数据源 | 真实多人群聊,话题跳跃、夹杂闲聊灌水 | 人工构造单用户结构化问答、干净长文本 |
| 对话角色 | 多角色交替发言,指代模糊、省略很多 | 大多单用户和 AI 一对一对话 |
| 信息噪声 | 大量无关闲聊、表情包、跑题内容,高噪声 | 噪声少,信息全部是有效事实 |
| 考察难点 | 区分有效信息和灌水、跨话题检索、理解上下文指代 | 长文本复述、简单事实检索 |
| 适用价值 | 贴近真实团队群聊、多人协作 Agent | 偏向纯长上下文窗口能力验证 |
这份群聊 Agent 记忆基准的出题设计思路
- 保留群聊原生特征
- 分层设计考题难度
- 配套评测指标
不去强行把对话整理成通顺的单人问答,保留话题切换、插话、中途跑题、重复讨论、多人互相补充信息这些特点,还原真实群聊的信息分布方式。
简单题:直接提取群聊里明确记录的时间、地点、安排;中等题:整合分散在多条消息里的多条信息做综合回答;难题:识别群聊里隐含约定、人物偏好,区分矛盾信息。
不只看答案对错,同时统计记忆召回准确率、无关信息误召回率、遗忘率、对冗余噪声的过滤能力,方便开发者定量对比不同记忆方案。
这份基准的落地使用步骤
第一步,加载完整群聊历史数据集,给到待测 Agent 记忆系统;
第二步,Agent 自主运行记忆抽取、存储、检索流程,不能额外人工提示;
第三步,批量作答基准里的考卷题目;
第四步,自动比对标准答案,输出召回准确率、误召率等指标;
第五步,横向对比不同记忆算法、不同模型在这套群聊考卷上的表现。
技术价值和落地意义
之前很多 Agent 记忆评测在干净数据集上效果很好,放到真实微信群、团队群里就翻车,原因就是缺少噪声过滤能力,很容易被灌水消息干扰。腾讯元宝 ×KCL 这个群聊 Agent 记忆基准,补齐了这个评测缺口,开发者可以用它来调试记忆抽取策略、优化向量检索、优化记忆分层方案,让 Agent 在多人协作群里稳定记住关键信息,更好支撑群聊总结、群内事项跟进、多人项目助手这类产品。
【相关 FAQ】
问题 1:腾讯元宝联合 KCL 推出的这个 Agent 记忆基准,为什么选用 8 万条群聊消息做考卷?
回答 1:腾讯元宝联合 KCL 选用 8 万条群聊消息制作考卷,是因为群聊存在多角色插话、话题跳转、大量闲聊噪声,能模拟真实环境,用来检验 Agent 记忆在高噪声多人对话下的信息筛选和召回能力。
问题 2:腾讯元宝和 KCL 的群聊 Agent 记忆基准,和其他 Agent 记忆评测集差别在哪?
回答 2:腾讯元宝和 KCL 的群聊 Agent 记忆基准是首个基于群聊构建,数据源是多人交替的真实群聊;传统评测集大多是单人对话、人工整理的干净文本,缺少群聊里的噪声和指代模糊问题。
问题 3:开发者拿到腾讯元宝 ×KCL 这个群聊 Agent 记忆基准,可以用来做什么?
回答 3:开发者可以用腾讯元宝 ×KCL 这个群聊 Agent 记忆基准,给不同大模型、不同记忆算法跑考卷,定量对比 Agent 在群聊场景下的记忆准确率、误召回率,用来迭代优化记忆模块。
问题 4:腾讯元宝在这个和 KCL 合作的群聊 Agent 记忆基准里,是直接用元宝模型来答题评测吗?
回答 4:不是,腾讯元宝和 KCL 合作的群聊 Agent 记忆基准是通用评测数据集,任何 Agent 记忆方案都可以接入考卷测试,元宝同时也是参与验证这套基准效果的产品之一。
【参考资料】
[2026-11-18](腾讯元宝联合 KCL 发布基于群聊的 Agent 记忆基准,8 万条群聊构建评测考卷)机器之心
[2026-11-18](8 万条群聊消息做评测集:面向多人对话的 Agent 记忆新 Benchmark)36 氪
[2026-11-18](群聊场景 Agent 记忆评测新基准发布)AI 前线
[2026-10-09](Agent 长期记忆评测的难点:从结构化文本转向真实对话)量子位
【免责声明】
本文为腾讯元宝 ×KCL 群聊 Agent 记忆基准资讯科普,数据集开放范围、评测指标、论文细节以腾讯元宝和 KCL 官方发布论文与项目仓库为准;该基准仅为技术评测工具,不代表 Agent 产品上线效果,不构成模型选型、记忆方案采购建议。
本文来自作者[元轨信使人]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/3895.html
评论列表(4条)
我是环球科技潮的签约作者“元轨信使人”!
希望本篇文章《8万条群聊消息做成考卷腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:腾讯元宝和伦敦国王学院(KCL)联合对外发布了一款全新 Agent 记忆评测基准,直接采用 8 万条真实群聊对话原始数据加工成标准化考卷,专门用来测试 AI 智能体在多人闲聊、信息零散、穿插闲聊和任务信息这种真实群聊环境下的长期记忆能力,和以往大多用单轮对话、干净结构化问答的评测集不一样,群聊里信息是碎片化的、多人交替发言、话题来回跳转,还有大量无效灌水内容,这个基准就是用来还原真实微信群、项目群的复杂交互场景,判断 Agent 能不能过滤无效信息、记住关键约定、人物偏好、时间安排,准确回答跨很久之前埋在聊天记录里的问题,给行业提供贴近真实团队协作场景的记忆效果对比标尺。