香港大学屈靓琼团队在 NeurIPS 2026 录用论文里,找到了当下大模型主流 RLVR 算法 GRPO 存在的底层缺陷,也就是大家观察到的模型越训越 “不敢想” 的现象,根源来自隐式优势对称性带来的双重枷锁,训练之后模型单次答题准确率上去了,但探索新思路、挖掘陌生解法的能力反而下降,多次采样的 Pass@k 指标甚至不如基础模型。GRPO 是现在 DeepSeek-R1 这类推理模型广泛使用的强化后训练算法,它去掉了 PPO 的价值网络,靠同一 prompt 下一组输出的相对奖励来做更新,内存开销更低,所以被大量落地;但这套分组相对优势估算机制自带对称约束,正确轨迹和错误轨迹的权重相互抵消,没有采样到的潜在正确路径拿不到梯度更新信号,同时算法天然偏向中等难度样本,不会跟着模型能力变化动态调整训练难度。团队基于这个理论提出 A-GRAE 改进方案,在不增加算力开销的前提下,打破对称约束,一边给模型保留探索激励,一边用课程式难度调度,先易后难分配训练样本,在 7 个测试基准上同时提升单次准确率和多路径探索能力,代码也已经开源。整套优化流程就是先识别分组优势对称问题、调整正确轨迹的优势权重、搭建难度动态调度机制、在多模型多任务上对照验证,后续做推理模型 RL 微调时,可以用 A-GRAE 替代原版 GRPO 缓解模型收敛保守的问题。
一、GRPO 双重枷锁核心清单
- 枷锁一:组层面探索不足(能力边界锁死)
- 枷锁二:样本层面难度适配失效(不懂因材施教)
- 底层根源:隐式优势对称性(Implicit Advantage Symmetry)
GRPO 分组内正确、错误轨迹权重对称,没有采样出来的潜在正确推理路径不会得到梯度更新,模型只会反复打磨已经学会的解法,很难冒出全新思路,也就是 “不敢想”。
算法默认优先抓中等难度样本,不会感知模型当前能力变化,不会自动从简单题往难题递进,训练后期要么在简单题重复刷分,要么卡在超难题目上,训练效率低。
这篇论文提出的统一解释视角,原版 GRAE 分组相对优势估计天然自带这个对称特性,是两个缺陷的共同源头。
二、原版 GRPO 与 A-GRAE 对比表
| 对比项 | 原版 GRPO | A-GRAE(港大改进版本) |
|---|---|---|
| 探索激励 | 对称约束,新路径得不到更新,容易保守收敛 | 非对称下调正确轨迹优势,留出探索空间 |
| 难度调度 | 固定偏向中等难度,无课程学习 | 动态难度调度,先简单样本、逐步过渡到难题 |
| 算力开销 | 基准算力 | 不增加额外计算成本 |
| 指标表现 | Pass@1 提升,但 Pass@k 容易下滑 | Pass@1、Pass@k 同步上涨 |
| 适用模型 | LLM、多模态大模型 | LLM、MLLM 多模态模型通用 |
三、GRPO 训练 “不敢想” 现象的完整流程拆解
步骤 1:分组采样
同一个问题,让模型一次性生成多条回答,形成一组轨迹,用最终可验证奖励打分。
步骤 2:分组相对优势计算
用组内平均分作为基线,算出每条轨迹的相对优势,正确轨迹正优势、错误轨迹负优势,权重对称抵消。
步骤 3:梯度更新
只对已经采样出来的回答做参数更新,那些模型没试出来、但其实可行的推理路径,没有任何梯度信号。
步骤 4:训练后期收敛
模型慢慢锁定少数稳妥解法,优先输出高概率安全答案,主动放弃小众、新颖的推理分支,表现就是越训越保守。
步骤 5:A-GRAE 修正
打破对称,对正确轨迹做非对称降权,同时动态分配样本难度,鼓励模型去试不一样的解题路线。
四、A-GRAE 两大优化手段说明
- 非对称优势加权:不再给正确轨迹过高的正向激励,适度压低它的优势权重,避免模型快速锁定单一解法,保留探索空间,代价是需要控制幅度防止训练不稳定。
- 课程式难度聚焦:动态调整样本分配,模型弱的时候优先简单题,能力上涨之后慢慢增加难题占比,适配模型非平稳的学习状态,提升训练效率。
五、工程落地影响
✅ 正面价值
- 解决推理模型 RL 微调后多样性崩塌、思路单一的痛点
- 不需要额外价值模型、不用额外算力,替换成本低
- 数学、代码、多模态推理场景都能生效
⚠️ 需要注意的风险
- 非对称权重调参不当,容易出现训练震荡、奖励漂移
- 难度调度策略需要配套监控,不能完全自动无约束运行
【相关 FAQ】
问题 1:港大 NeurIPS 2026 论文揭露 GRPO 双重枷锁,为什么模型会越训越不敢想?
回答 1:GRPO 双重枷锁来自隐式优势对称性,第一重枷锁让未采样的新推理路径拿不到梯度,模型没法学习新思路;第二重枷锁让算法只会盯着中等难度样本,长期训练后模型优先选择稳妥答案,放弃探索,也就是越训越不敢想。
问题 2:GRPO 的双重枷锁,会不会影响模型单次答题准确率?
回答 2:原版 GRPO 通常可以拉高 Pass@1 单次答对概率,但是受 GRPO 双重枷锁限制,模型推理多样性下降,多次采样的 Pass@k 指标反而变差,能解出来的新题目变少。
问题 3:港大针对 GRPO 双重枷锁提出的 A-GRAE,要不要大幅增加算力?
回答 3:A-GRAE 是针对 GRPO 隐式优势对称性的改进,不需要额外价值网络、不增加额外计算开销,直接替换原版 GRPO 的优势计算逻辑即可。
问题 4:A-GRAE 解决 GRPO 双重枷锁之后,适合哪些大模型训练场景?
回答 4:A-GRAE 适合数学推理、代码、多模态推理这类依赖多样化解题思路的 LLM、MLLM 后训练,用来缓解 GRPO 双重枷锁带来的探索不足问题。
问题 5:GRPO 双重枷锁和 RLVR 奖励可验证机制有关系吗?
回答 5:GRPO 属于 RLVR 可验证奖励框架,双重枷锁是分组相对优势估算 GRAE 本身的数学对称特性,不是可验证奖励本身带来的问题。
【参考资料】
[2026-11-18](你的模型越训越「不敢想」:港大 NeurIPS 2026 揭露 GRPO 隐藏的双重枷锁)机器之心 Pro(新浪财经)
[2026-11-18](Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation)arXiv
[2026-11-18](NeurIPS 2026|港大屈靓琼团队:GRPO 探索不足的底层机理)量子位
[2026-09-20](GRPO 原理、优缺点与推理模型后训练实践)DeepSeek 技术博客
[2026-08-10](RLVR 可验证奖励强化学习在推理模型上的应用综述)AI 研究评论
【免责声明】
本文仅为港大 NeurIPS 2026 论文的技术资讯整理,GRPO 双重枷锁、A-GRAE 改进效果来自论文受控实验结论;不同基座模型、数据集、超参下的训练表现存在差异,不代表直接落地就能稳定提升效果,大规模 RL 训练前建议小规模对照实验验证,不构成模型训练方案、算法选型的唯一依据。
本文来自作者[锋芯信使]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/jqr/202611/2871.html
评论列表(4条)
我是环球科技潮的签约作者“锋芯信使”!
希望本篇文章《港大 NeurIPS 2026 论文揭示 GRPO 双重枷锁模型越训越不敢探索新解法》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:香港大学屈靓琼团队在 NeurIPS 2026 录用论文里,找到了当下大模型主流 RLVR 算法 GRPO 存在的底层缺陷,也就是大家观察到的模型越训越 “不敢想” 的现象,根源来自隐式优势对称性带来的双重枷锁,训练之后模型单次答题准确率上去了,但探索新思路、挖掘陌生解法的能力反而下降,多次采样的 Pass@k 指标甚至不如基础模型。GRPO 是现在 DeepSeek-R1 这类推理模型广泛使用的强化后训练算法,它去掉了 PPO 的价值网络,靠同一 prompt 下一组输出的相对奖励来做更新,内存开销更低,所以被大量落地;但这套分组相对优势估算机制自带对称约束,正确轨迹和错误轨迹的权重相互抵消,没有采样到的潜在正确路径拿不到梯度更新信号,同时算法天然偏向中等难度样本,不会跟着模型能力变化动态调整训练难度。团队基于这个理论提出 A-GRAE 改进方案,在不增加算力开销的前提下,打破对称约束,一边给模型保留探索激励,一边用课程式难度调度,先易后难分配训练样本,在 7 个测试基准上同时提升单次准确率和多路径探索能力,代码也已经开源。整套优化流程就是先识别分组优势对称问题、调整正确轨迹的优势权重、搭建难度动态调度机制、在多模型多任务上对照验证,后续做推理模型 RL 微调时,可以用 A-GRAE 替代原版 GRPO 缓解模型收敛保守的问题。