清华 SkillMaster 被 NeurIPS 2026 录用,Agent 学会自己进化技能、不再靠外挂

我先联网找到这篇 NeurIPS 2026 清华论文的原出处,核实它到底做了什么、和 “外挂技能库” 的区别在哪。

这条标题指向的论文需要精确锁定,我再核对一下具体是哪篇、是不是 NeurIPS 2026 收录。

已锁定:这条报道介绍的是清华李勇团队的 SkillMaster(NeurIPS 2026 录用)。我继续读原文,取完整方法和实验数据。

这件事的核心变化是:技能管理从此不再由外部模块负责。机器之心 11 月 16 日报道,清华大学李勇教授团队提出的 SkillMaster 已被 NeurIPS 2026 录用,第一作者是北京中关村学院博士生杨敏,合作单位还包括山东大学、东南大学和中国科学技术大学。以往做 Agent,常见范式是 “模型+技能库=智能体”,技能由外部教师模型、人工规则或辅助模块创建和更新,执行任务的模型只负责 “用技能”。SkillMaster 把 “要不要新建技能、怎么改现有技能、哪些技能该留” 这些决策,交给同一个策略去做,并让它和任务执行一起进强化学习。实测结果很直接:基于 Qwen2.5-7B-Instruct,ALFWorld 任务成功率 98.7%、WebShop 82.0%,比此前的 SkillRL 分别高 8.8 和 9.3 个百分点,SearchQA 总体得分 48.0%,也是对比方法里最高的。换句话说,Agent 不只是 “会用技能”,开始 “会改技能”,而且改得对不对,能用数据量出来。

先说清楚 “外挂” 这个问题到底卡在哪

现有范式的做法由此带来的限制
技能由外部教师模型生成或人工编写技能质量取决于外部,模型自己学不到 “怎么写得更好”
用预设规则决定何时更新、何时删除规则是死的,遇到新场景容易失效
技能作为外部资源被检索、被注入上下文模型只是在 “照着做”,没有真正获得这项能力
任务成功与否是唯一反馈分不清是执行能力不行,还是技能本身写得不对

原文的判断是:执行任务的智能体学会了使用技能,却很少被直接训练去改进技能。要沿着递归自我改进这条路走下去,必须让 “如何进化技能” 成为智能体自身可以学习的能力。

SkillMaster 的三个设计,一环扣一环

组件解决什么问题具体做法
基于轨迹的技能审视依据什么提出修改把任务目标、已检索技能、行动与观察轨迹、最终反馈一起给模型,由它调用 propose_skill、update_skill、keep_skill 三类工具,分别新建、修订、保留技能
反事实技能效用奖励怎么判断这次修改值不值选一组相关探测任务,分别用原技能库和 “临时改过的技能库” 各跑一遍,比较失败是否转成功、成功任务是否少走了步骤,算出效用奖励
DualAdv-GRPO两类决策怎么一起训任务执行靠环境结果给反馈,技能管理靠工具调用有效性和下游效用给反馈,两套优势分别计算,再分配给对应内容,共同更新同一个策略

这里最巧的一步是 “反事实”。技能改动好不好,不能只看这次任务成不成,而要看它对一批相似任务的下游影响;而且训练期间只有效用为正的修改才会被写进持久技能库,垃圾技能进不来。

整个训练是怎么跑起来的

第一步,先用监督微调打底,让模型具备基本的任务执行和工具调用能力,不然它连 propose_skill 都调不明白。

第二步,让模型在任务中正常执行,同时把完整轨迹留档,作为之后 “复盘” 的证据。

第三步,复盘阶段让模型根据轨迹提出技能编辑,可以是补一条缺失的搜索优先级规则,也可以是改掉一条与真实接口冲突的旧规则。

第四步,用探测任务做反事实对照,算出这次编辑的效用,得分低的编辑直接被否掉。

第五步,把任务执行和技能编辑两类优势分别估计(DualAdv-GRPO),一起更新策略,让模型既学会做事,也学会改技能。

第六步,正效用的编辑写入技能库,进入下一轮任务,形成 “执行 — 复盘 — 改技能 — 再执行” 的闭环。

实测数据,比口号有说服力

基准SkillMaster对比基线 SkillRL变化
ALFWorld(六类家庭任务)98.7%89.9%+8.8 个百分点
WebShop(多步搜索购买)82.0%72.7%+9.3 个百分点
SearchQA(七个问答数据集总体)48.0%47.1%+0.9 个百分点,七个里五个更好

ALFWorld 的六类任务中,有四类直接做到 100% 成功率,剩下两类也都超过 95%。消融实验也支持这套设计的必要性:去掉技能效用奖励、把优势估计合并归一化、或者随机挑探测任务,表现都会下降。

两个案例,能看出它是真的在 “改技能”

场景发现的问题做出的修改结果
ALFWorld 冷却任务大量步骤耗在食物出现概率很低的柜子和抽屉上,任务失败识别出技能缺少搜索优先级规则,新建一条 “优先搜高概率位置” 的技能后续相似任务的搜索路径更短,成功率提升
ALFWorld 加热任务旧技能要求先把物体放进微波炉,但接口规定必须手持目标物体才能加热依据轨迹反馈修订技能的操作前置条件加热环节从 8 步缩到 2 步,少了 6 次多余动作

第二个案例尤其说明问题:它不是靠试错蒙对的,而是从 “反馈和规则冲突” 这件事里读出了规则该改哪里。

训练过程中,模型的行为也在变

  • 技能管理操作的重心在迁移。ALFWorld 训练早期,新建和更新很活跃;到训练后期,“保留技能” 的比例从约 81.25% 升到 97.66%,说明它从 “不停补课” 转向 “守住已经验证有效的经验”。
  • 训练完的模型确实会自己建库。把参数固定住、从空技能库起步,在 WebShop 上同时开启技能构建与检索,成功率从 65.63% 提升到 71.88%,增益来自它现场写出来并复用的技能,而不是外部喂进去的。
  • 技能库没有被无限膨胀。正效用才入库这条硬规则,把技能库规模控制在一个可管理的范围里。

有一件事得说明白,别把它理解成 “技能消失了”

SkillMaster 的 “不再依赖外挂”,指的是一件事:谁来创建、修订、保留技能,这个决策权从外部模块回到了模型自己的策略里。技能本身仍然以文件形式存在技能库中,仍然要被检索和使用。区别在于,以前是外部教师替模型管库,现在是模型带着 “怎么管库” 的能力在管库。这个差别听起来不大,但它把 “技能质量” 从工程问题变成了可训练的学习问题 —— 这才是能被强化学习优化的部分。

还没解决的部分,作者自己列了清单

  • 目前验证集中在结构化交互环境(ALFWorld、WebShop)和搜索增强问答,开放环境还没充分覆盖。
  • 探测任务怎么选更有效、效用评估怎么更便宜,都还有优化空间。现在每做一次编辑都要跑一批探测任务,成本不低。
  • 技能删除还没系统处理,只做了创建、更新、保留。
  • 跨智能体共享技能、分布变化下的持续学习,都还在展望里。
  • 规模上只用了 Qwen2.5-7B-Instruct 一类基座,更大模型、更多任务类型上的表现还需要验证。

放到行业里看,这条路的价值在哪

Agent 这两年的主要瓶颈,正在从 “会不会调用工具” 转向 “经验能不能沉淀”。检索式外挂能解决 “这次怎么做”,但解决不了 “下次怎么做得更好、更省”。SkillMaster 给出的答案是把技能编辑当成一个可以学习、可以评估、可以优化的动作,用反事实探测量出它的真实价值。对做 Agent 产品的人来说,这套思路有两个可借用的点:一是用 “下游探测任务” 而不是 “本次任务成败” 来评价一次经验更新,二是把 “记忆管理” 本身当成策略的一部分来训练。技能库会越来越像资产,而管资产的能力,得长在模型身上。

【相关 FAQ】

问题 1:清华 SkillMaster 是什么,为什么说它让 Agent 不再依赖外挂?

回答 1:SkillMaster 是清华大学李勇教授团队提出、被 NeurIPS 2026 录用的训练框架,它把技能的新建、修订、保留这些决策交给 Agent 自己的策略来做,并用强化学习和任务执行一起训练,所以不再依赖外部教师模型或人工规则来管理技能,这就是 “不再依赖外挂” 的含义。

问题 2:SkillMaster 和以前的技能库方案(比如 SkillRL)有什么本质区别?

回答 2:以前的方案里,技能库由外部模块管理,Agent 只负责检索和使用;SkillMaster 让同一个 Agent 策略同时产出任务动作和技能编辑动作,并用反事实探测任务评估每次编辑的下游效用,因此 Agent 不只是会用技能,还学会了怎么改技能,实测在 ALFWorld 和 WebShop 上分别比 SkillRL 高 8.8 和 9.3 个百分点。

问题 3:SkillMaster 的 “反事实技能效用奖励” 是怎么算的,为什么重要?

回答 3:它针对一次候选技能编辑,选一组相关探测任务,分别用原始技能库和临时修改后的技能库各执行一遍,看原来失败的任务是否转成功、原来成功的任务是否减少步骤,再综合平均得分变化和改善、退化任务数量算奖励;只有效用为正的修改才会写入持久技能库,这保证了技能库不会被垃圾条目污染。

问题 4:SkillMaster 的实验结果如何,Agent 真的能自己进化技能吗?

回答 4:SkillMaster 在 ALFWorld 达到 98.7% 成功率、WebShop 达到 82.0%,SearchQA 总体 48.0%,都是对比方法里最高;固定参数、从空技能库起步时,WebShop 成功率还能从 65.63% 提升到 71.88%,说明训练后的 Agent 确实能根据新交互自己构建并复用技能。

问题 5:想在自己的 Agent 项目里用 SkillMaster 的思路,可以从哪里开始?

回答 5:可以从三点入手:把技能管理定义成模型可调用的工具动作(新建、更新、保留),用一批相似任务做下游效用对比来评价每次技能修改,再把任务执行与技能管理的优势分开估计、联合训练;代码和论文在 GitHub 的 Skill-Master 仓库与 arXiv:2605.08693 上公开,可以先跑通 ALFWorld 这类结构化环境再扩到自己的场景。

【参考资料】

[2026-11-16](NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑)机器之心

[2026-09-30](SkillMaster: Toward Autonomous Skill Mastery in LLM Agents,v3 更新)arXiv

[2026-05-09](SkillMaster 论文首次提交,arXiv:2605.08693)arXiv

[2026-05-09](Skill-Master 开源代码仓库)GitHub

免责声明

本文基于 2026 年 11 月 16 日机器之心报道及 arXiv 公开论文整理,论文方法与实验数据以 arXiv:2605.08693(v3,2026 年 9 月 30 日更新)为准;SkillMaster 目前为学术研究阶段的训练框架,实验基于 Qwen2.5-7B-Instruct 在 ALFWorld、WebShop、SearchQA 等基准上完成,尚未覆盖开放环境与大规模生产场景,实际效果会因基座模型、任务类型和技能库规模而不同。本文为信息解读,不构成任何技术选型或投资建议。

本文来自作者[灵域路由]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/jqr/202611/1968.html

赞 (3)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 灵域路由
    灵域路由 2026年11月16日

    我是环球科技潮的签约作者“灵域路由”!

  • 灵域路由
    灵域路由 2026年11月16日

    希望本篇文章《清华 SkillMaster 被 NeurIPS 2026 录用,Agent 学会自己进化技能、不再靠外挂》能对你有所帮助!

  • 灵域路由
    灵域路由 2026年11月16日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 灵域路由
    灵域路由 2026年11月16日

    本文概览:我先联网找到这篇 NeurIPS 2026 清华论文的原出处,核实它到底做了什么、和 “外挂技能库” 的区别在哪。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们