清华和腾讯联合推出 TreeOPSD 方案，核心就是给 Agent 实现 “论功行赏” 式的信用分配，在 BrowseComp-Plus 深度研究测试集上，相比 GRPO 基线直接把准确率拉高 4.97 个百分点，解决了长期困扰智能体训练的稀疏奖励难题。传统 Agent 训练大多只有任务最后成功或者失败才给奖励，中间每一步检索、思考、调用工具的动作没法单独拿到反馈，模型分不清哪一步操作有用、哪一步是无效操作，训练收敛慢、长链路深度研究任务很容易跑偏。这个 TreeOPSD 不需要额外训练价值评估网络，直接把最终的结果奖励，反向分配到推理树里每一轮动作上，让模型知道哪一步贡献大、哪一步拖后腿，以此优化 Agent 的决策逻辑。在 Qwen3-30B-A3B-Thinking 模型上，在 BrowseComp、BrowseComp-Plus、GAIA、xbench-DeepSearch 这四项深度研究基准上综合评测，TreeOPSD 得分 21.20，对比 GRPO 的 18.43、TreePO 的 17.59，整体表现明显更强，尤其适合多跳检索、长链条深度调研这类复杂任务。
一、为什么深度研究 Agent 很难训练
- 奖励信号很稀疏：只有任务全部做完之后才有一个最终奖励，中间几十步检索、翻页、推理没有单独打分。
- 贡献很难拆分：一步错不代表全程错，某一次检索拿到关键证据，才是答对题的核心，传统方法没法识别这一步。
- 容易无效试错：模型会反复做无关检索、重复查询，浪费算力，还会学坏错误的行动路径。
- 很多方案要额外训练价值网络，增加参数量、训练成本，落地门槛变高。
二、TreeOPSD “论功行赏” 核心步骤
- 构建推理分支树：Agent 在做深度研究的时候，会生成多条并行的推理分支，共用前面相同的思考前缀。
- 结果反向回溯：等整条分支跑完拿到最终任务结果之后，沿着推理树往回追溯。
- 逐轮分配信用：把总奖励拆分，给到每一步动作，判断该步骤对最终答对的贡献大小。
- 无价值判别器更新：全程不用训练专门的价值 Critic 网络，只靠树结构蒸馏完成优化。
- 迭代优化 Agent 策略：模型根据每一步的信用反馈，优先保留高贡献的检索、推理动作，减少无效操作。
三、核心测试数据对比
| 评测方法 | 四项深度研究基准平均分 | BrowseComp-Plus 提升幅度 | 是否需要价值网络 |
|---|---|---|---|
| TreeOPSD（清华腾讯） | 21.20 | +4.97% | 不需要 |
| GRPO | 18.43 | 基线 | 部分场景依赖 |
| TreePO | 17.59 | 低于 GRPO | 不需要 |
四、适用场景
- 多跳深度资料检索、长文本调研问答
- 科研信息搜集、文献梳理类 Agent
- 金融、行业信息深度查询智能体
- 需要多轮工具调用、分步推理的大模型 Agent
【相关 FAQ】
问题 1：清华腾讯让 Agent “论功行赏” 的技术名字是什么？
回答 1：这项技术叫 TreeOPSD，是一种面向 Agent 的树感知蒸馏方案，核心就是信用分配，也就是大家说的 “论功行赏”，不需要训练价值判别网络。
问题 2：Agent “论功行赏”，为什么能提升深度研究准确率？
回答 2：因为深度研究任务只有最终结果奖励，TreeOPSD 把最终奖励拆分给到每一步推理动作，让模型识别哪些检索、思考步骤是有用的，减少无效操作，所以在 BrowseComp-Plus 上实现 4.97 个百分点的提升。
问题 3：TreeOPSD 这套 Agent 信用分配方案，是基于哪个大模型做测试的？
回答 3：测试骨干模型是 Qwen3-30B-A3B-Thinking，在 BrowseComp、BrowseComp-Plus、GAIA、xbench-DeepSearch 这四类深度研究基准上完成验证。
问题 4：TreeOPSD 和 GRPO 相比，最大的区别是什么？
回答 4：GRPO 是常用的 Agent 强化学习基线，TreeOPSD 采用树结构回溯分配信用，不用额外训练价值网络，在深度研究任务上效果更好，在 BrowseComp-Plus 上高出 4.97 个百分点。
【参考资料】
[2026-11-13]（深度研究准确率提升 4.97 个百分点！清华腾讯让 Agent 学会 “论功行赏”）51CTO
[2026-10-19]（Tsinghua TreeOPSD Beats GRPO on Qwen3-30B Deep-Research Avg）AI Weekly
【免责声明】
本文内容仅为前沿 AI 技术资讯科普，所有实验数据、效果结论均来自公开论文与媒体报道，不代表该技术在所有业务场景都能稳定达到同等提升效果；技术效果受基座模型、数据集、任务类型、参数配置影响，不构成技术选型、商用落地的直接建议。
本文来自作者[光枢分拣使]投稿，不代表环球科技潮立场，如若转载，请注明出处：https://www.zennew.com/rgzn/202611/941.html
评论列表（4条）
我是环球科技潮的签约作者“光枢分拣使”！
希望本篇文章《清华腾讯 Agent 信用分配方案，深度研究任务准确率提升 4.97 个百分点》能对你有所帮助！
本站[环球科技潮]内容主要涵盖：科技,科技新闻,黑科技
本文概览：清华和腾讯联合推出 TreeOPSD 方案，核心就是给 Agent 实现 “论功行赏” 式的信用分配，在 BrowseComp-Plus 深度研究测试集上，相比 GRPO 基线直接把准确率拉高 4.97 个百分点，解决了长期困扰智能体训练的稀疏奖励难题。传统 Agent 训练大多只有任务最后成功或者失败才给奖励，中间每一步检索、思考、调用工具的动作没法单独拿到反馈，模型分不清哪一步操作有用、哪一步是无效操作，训练收敛慢、长链路深度研究任务很容易跑偏。这个 TreeOPSD 不需要额外训练价值评估网络，直接把最终的结果奖励，反向分配到推理树里每一轮动作上，让模型知道哪一步贡献大、哪一步拖后腿，以此优化 Agent 的决策逻辑。在 Qwen3-30B-A3B-Thinking 模型上，在 BrowseComp、BrowseComp-Plus、GAIA、xbench-DeepSearch 这四项深度研究基准上综合评测，TreeOPSD 得分 21.20，对比 GRPO 的 18.43、TreePO 的 17.59，整体表现明显更强，尤其适合多跳检索、长链条深度调研这类复杂任务。