港大 NeurIPS 2026 论文揭示 GRPO 双重枷锁模型越训越不敢探索新解法

香港大学屈靓琼团队在 NeurIPS 2026 录用论文里,找到了当下大模型主流 RLVR 算法 GRPO 存在的底层缺陷,也就是大家观察到的模型越训越 “不敢想” 的现象,根源来自隐式优势对称性带来的双重枷锁,训练之后模型单次答题准确率上去了,但探索新思路、挖掘陌生解法的能力反而下降,多次采样的 Pass@k 指标甚至不如基础模型。GRPO 是现在 DeepSeek-R1 这类推理模型广泛使用的强化后训练算法,它去掉了 PPO 的价值网络,靠同一 prompt 下一组输出的相对奖励来做更新,内存开销更低,所以被大量落地;但这套分组相对优势估算机制自带对称约束,正确轨迹和错误轨迹的权重相互抵消,没有采样到的潜在正确路径拿不到梯度更新信号,同时算法天然偏向中等难度样本,不会跟着模型能力变化动态调整训练难度。团队基于这个理论提出 A-GRAE 改进方案,在不增加算力开销的前提下,打破对称约束,一边给模型保留探索激励,一边用课程式难度调度,先易后难分配训练样本,在 7 个测试基准上同时提升单次准确率和多路径探索能力,代码也已经开源。整套优化流程就是先识别分组优势对称问题、调整正确轨迹的优势权重、搭建难度动态调度机制、在多模型多任务上对照验证,后续做推理模型 RL 微调时,可以用 A-GRAE 替代原版 GRPO 缓解模型收敛保守的问题。

一、GRPO 双重枷锁核心清单

  1. 枷锁一:组层面探索不足(能力边界锁死)
  2. 枷锁二:样本层面难度适配失效(不懂因材施教)
  3. 底层根源:隐式优势对称性(Implicit Advantage Symmetry)

GRPO 分组内正确、错误轨迹权重对称,没有采样出来的潜在正确推理路径不会得到梯度更新,模型只会反复打磨已经学会的解法,很难冒出全新思路,也就是 “不敢想”。

算法默认优先抓中等难度样本,不会感知模型当前能力变化,不会自动从简单题往难题递进,训练后期要么在简单题重复刷分,要么卡在超难题目上,训练效率低。

这篇论文提出的统一解释视角,原版 GRAE 分组相对优势估计天然自带这个对称特性,是两个缺陷的共同源头。

二、原版 GRPO 与 A-GRAE 对比表

对比项原版 GRPOA-GRAE(港大改进版本)
探索激励对称约束,新路径得不到更新,容易保守收敛非对称下调正确轨迹优势,留出探索空间
难度调度固定偏向中等难度,无课程学习动态难度调度,先简单样本、逐步过渡到难题
算力开销基准算力不增加额外计算成本
指标表现Pass@1 提升,但 Pass@k 容易下滑Pass@1、Pass@k 同步上涨
适用模型LLM、多模态大模型LLM、MLLM 多模态模型通用

三、GRPO 训练 “不敢想” 现象的完整流程拆解

步骤 1:分组采样

同一个问题,让模型一次性生成多条回答,形成一组轨迹,用最终可验证奖励打分。

步骤 2:分组相对优势计算

用组内平均分作为基线,算出每条轨迹的相对优势,正确轨迹正优势、错误轨迹负优势,权重对称抵消。

步骤 3:梯度更新

只对已经采样出来的回答做参数更新,那些模型没试出来、但其实可行的推理路径,没有任何梯度信号。

步骤 4:训练后期收敛

模型慢慢锁定少数稳妥解法,优先输出高概率安全答案,主动放弃小众、新颖的推理分支,表现就是越训越保守。

步骤 5:A-GRAE 修正

打破对称,对正确轨迹做非对称降权,同时动态分配样本难度,鼓励模型去试不一样的解题路线。

四、A-GRAE 两大优化手段说明

  1. 非对称优势加权:不再给正确轨迹过高的正向激励,适度压低它的优势权重,避免模型快速锁定单一解法,保留探索空间,代价是需要控制幅度防止训练不稳定。
  2. 课程式难度聚焦:动态调整样本分配,模型弱的时候优先简单题,能力上涨之后慢慢增加难题占比,适配模型非平稳的学习状态,提升训练效率。

五、工程落地影响

✅ 正面价值

  • 解决推理模型 RL 微调后多样性崩塌、思路单一的痛点
  • 不需要额外价值模型、不用额外算力,替换成本低
  • 数学、代码、多模态推理场景都能生效

⚠️ 需要注意的风险

  • 非对称权重调参不当,容易出现训练震荡、奖励漂移
  • 难度调度策略需要配套监控,不能完全自动无约束运行

【相关 FAQ】

问题 1:港大 NeurIPS 2026 论文揭露 GRPO 双重枷锁,为什么模型会越训越不敢想?

回答 1:GRPO 双重枷锁来自隐式优势对称性,第一重枷锁让未采样的新推理路径拿不到梯度,模型没法学习新思路;第二重枷锁让算法只会盯着中等难度样本,长期训练后模型优先选择稳妥答案,放弃探索,也就是越训越不敢想。

问题 2:GRPO 的双重枷锁,会不会影响模型单次答题准确率?

回答 2:原版 GRPO 通常可以拉高 Pass@1 单次答对概率,但是受 GRPO 双重枷锁限制,模型推理多样性下降,多次采样的 Pass@k 指标反而变差,能解出来的新题目变少。

问题 3:港大针对 GRPO 双重枷锁提出的 A-GRAE,要不要大幅增加算力?

回答 3:A-GRAE 是针对 GRPO 隐式优势对称性的改进,不需要额外价值网络、不增加额外计算开销,直接替换原版 GRPO 的优势计算逻辑即可。

问题 4:A-GRAE 解决 GRPO 双重枷锁之后,适合哪些大模型训练场景?

回答 4:A-GRAE 适合数学推理、代码、多模态推理这类依赖多样化解题思路的 LLM、MLLM 后训练,用来缓解 GRPO 双重枷锁带来的探索不足问题。

问题 5:GRPO 双重枷锁和 RLVR 奖励可验证机制有关系吗?

回答 5:GRPO 属于 RLVR 可验证奖励框架,双重枷锁是分组相对优势估算 GRAE 本身的数学对称特性,不是可验证奖励本身带来的问题。

【参考资料】

[2026-11-18](你的模型越训越「不敢想」:港大 NeurIPS 2026 揭露 GRPO 隐藏的双重枷锁)机器之心 Pro(新浪财经)

[2026-11-18](Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation)arXiv

[2026-11-18](NeurIPS 2026|港大屈靓琼团队:GRPO 探索不足的底层机理)量子位

[2026-09-20](GRPO 原理、优缺点与推理模型后训练实践)DeepSeek 技术博客

[2026-08-10](RLVR 可验证奖励强化学习在推理模型上的应用综述)AI 研究评论

【免责声明】

本文仅为港大 NeurIPS 2026 论文的技术资讯整理,GRPO 双重枷锁、A-GRAE 改进效果来自论文受控实验结论;不同基座模型、数据集、超参下的训练表现存在差异,不代表直接落地就能稳定提升效果,大规模 RL 训练前建议小规模对照实验验证,不构成模型训练方案、算法选型的唯一依据。

本文来自作者[锋芯信使]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/jqr/202611/2871.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 锋芯信使
    锋芯信使 2026年11月18日

    我是环球科技潮的签约作者“锋芯信使”!

  • 锋芯信使
    锋芯信使 2026年11月18日

    希望本篇文章《港大 NeurIPS 2026 论文揭示 GRPO 双重枷锁模型越训越不敢探索新解法》能对你有所帮助!

  • 锋芯信使
    锋芯信使 2026年11月18日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 锋芯信使
    锋芯信使 2026年11月18日

    本文概览:香港大学屈靓琼团队在 NeurIPS 2026 录用论文里,找到了当下大模型主流 RLVR 算法 GRPO 存在的底层缺陷,也就是大家观察到的模型越训越 “不敢想” 的现象,根源来自隐式优势对称性带来的双重枷锁,训练之后模型单次答题准确率上去了,但探索新思路、挖掘陌生解法的能力反而下降,多次采样的 Pass@k 指标甚至不如基础模型。GRPO 是现在 DeepSeek-R1 这类推理模型广泛使用的强化后训练算法,它去掉了 PPO 的价值网络,靠同一 prompt 下一组输出的相对奖励来做更新,内存开销更低,所以被大量落地;但这套分组相对优势估算机制自带对称约束,正确轨迹和错误轨迹的权重相互抵消,没有采样到的潜在正确路径拿不到梯度更新信号,同时算法天然偏向中等难度样本,不会跟着模型能力变化动态调整训练难度。团队基于这个理论提出 A-GRAE 改进方案,在不增加算力开销的前提下,打破对称约束,一边给模型保留探索激励,一边用课程式难度调度,先易后难分配训练样本,在 7 个测试基准上同时提升单次准确率和多路径探索能力,代码也已经开源。整套优化流程就是先识别分组优势对称问题、调整正确轨迹的优势权重、搭建难度动态调度机制、在多模型多任务上对照验证,后续做推理模型 RL 微调时,可以用 A-GRAE 替代原版 GRPO 缓解模型收敛保守的问题。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们