Transformer权重反复使用，真的更省计算吗？研究发现循环哪些层很关键

标题：Transformer 权重反复复用不一定省算力，研究证实循环哪些层才是关键

最新针对循环式 Transformer（Looped Transformer）的研究给出明确结论，单纯反复复用同一组权重不等于自动省下计算量，在固定浮点运算量（FLOPs）的前提下，循环策略、选择循环的位置，直接决定最终效果与资源收益；只有选对循环区块，才能做到少参数、不降效果，否则只是重复跑相同计算，算力开销几乎不变，甚至会因为循环次数过多、表达能力不足而效果下滑。很多人误以为权重共享等于计算量降低，这里有一个很容易踩的误区：权重复用主要是减少参数量、降低显存占用，每一轮前向传播依然要跑完整的自注意力和前馈网络，FLOPs 并不会凭空变少；真正的收益来自 “同等算力预算下拿到更好效果”，或是搭配提前退出、稀疏 MoE、动态循环，减少无效计算。整套方案的核心思路是把模型拆成前置预热层、中间循环核心层、后置收尾层，不同区段适合循环的程度完全不一样，研究者通过大量消融实验对比全层循环、首层循环、中间层循环、末尾层循环，给出了更适合落地的配置方案，工程上可以按照任务预算，选择对应的循环组合。

一、核心概念区分

权重复用（循环 Transformer）：用少量固定的 Transformer Block，多次迭代作用在隐状态上，等效加深模型深度，不用给每一层单独训练一套独立权重。
参数节省：✅，只保存一套共享权重，模型体积、加载显存、权重存储开销下降明显。
原生计算量：❌，默认情况下每循环一次，就要再跑一遍注意力、FFN，FLOPs 和同等有效深度的普通 Transformer 接近。
效率红利来源：在相同算力预算里拿到更高效果；或者对简单样本提前退出，不跑完全部循环轮次。

循环方案	综合表现	适用场景
全部层一起循环	同等参数量下效果上限最高，但算力开销大，容易饱和	参数受限、算力预算充足的场景
只循环中间层	算力约束下性价比最优，也是本次研究主推方案	主流落地，训练、推理兼顾
只循环开头浅层	擅长基础特征编码，长期推理增益有限	侧重基础语义提取的轻量模型
只循环末尾高层	容易震荡、收益快速衰减，不推荐主方案	只适合少量微调、输出校准

二、为什么循环中间层效果最好

浅层（前置预热段）：负责把输入编码成基础表征，适合只跑一次，反复循环浅层容易把基础特征过度强化，后续缺少空间做推理细化。
中间层（循环核心段）：承担推理、关联、信息融合，冗余最高、迭代精炼的收益最强，也就是 SMELT 这类方案选择 “中间一半层循环两次” 的原因，实测可以节省 6.8%–18% 的训练 FLOPs。
深层（后置收尾段）：负责映射到最终输出，反复循环容易造成隐状态震荡，多轮之后增益快速收敛甚至反向变差。
MoE 稀疏结构更适配循环：混合专家模型在每一轮循环会激活不同专家，弥补共享权重带来的表达能力短板，稠密模型循环次数多了更容易出现能力瓶颈。