NeurIPS 2026 收录这篇 DGP 动态门控路径方案，是多模态视觉语言模型的重要架构突破，它抛弃传统只把单层视觉特征一次性送入大语言模型的做法，搭建全连接路由通道，让每一层 LLM 都可以自由读取全部 ViT 层级的视觉特征，根据当前语义、问题、画面动态挑选合适粒度的图像信息，不用固定接入点，在 LLaVA、Qwen3-VL 等主流多模态基座上都能稳定提分，由西北工业大学和香港科技大学联合完成，代码已经开源，后续可以直接拿来改造现有 VLM，对图像细节识别、复杂视觉推理任务提升很明显。现在市面上绝大多数 VLM，都是取出 ViT 最后一层特征，投影之后一次性喂进语言模型，不管是要识别细小文字，还是理解整张图片的高层语义，全程共用同一套视觉信息；就算少数多融合方案，也只是提前压缩特征，或者写死固定连接，模型没有办法在推理的时候自主切换视觉来源。ViT 浅层抓边缘、纹理、小字这类细节，深层负责物体、场景、语义，DGP 的思路就是释放分层视觉潜力，让语言模型浅层拿细粒度特征做识别，深层调用高层视觉做推理，每一层都按需看图。想要看懂这套方案，先分清旧架构痛点，再理解门控路由机制，然后对照公开评测指标，最后看它的落地限制，就能明白这项工作对后续多模态模型迭代的价值。
一、DGP 基础信息清单
- ✅ 全称：Dynamic Gated Pathways，动态门控路径
- ✅ 收录会议：NeurIPS 2026
- ✅ 研发团队：西北工业大学、香港科技大学
- ✅ 核心机制：ViT 所有层与 LLM 所有层建立全对全连接，可学习动态门控路由
- ✅ 开源：论文配套代码公开，可基于现有 MLLM 二次改造
- ✅ 适用基座：LLaVA‑1.5（7B/13B）、Qwen3‑VL‑2B、LLaVA‑NeXT
二、新旧 VLM 融合方案对比简表
| 方案类型 | 视觉接入方式 | 动态选择 | 优势 | 短板 |
|---|---|---|---|---|
| 传统单层注入 | 只送入 ViT 最后一层特征 | ❌ | 实现简单、推理开销低 | 所有语言层共用一套视觉，细节、语义很难兼顾 |
| 预定义多层融合 | 提前压缩或者固定几条通路 | ❌ | 比单层效果更好 | 路由不能随样本动态变化，灵活性不足 |
| DGP 动态门控路径 | 全部 ViT ↔ 全部 LLM 全连通 | ✅ | 每层按需选取不同粒度视觉，推理自适应 | 增加路由计算，推理成本更高 |
三、关键评测增益（基于 LLaVA‑1.5‑7B）
- SQA‑I：+4.2
- MM‑Vet：+3.3
- VizWiz：+3.1
- LLaVA‑Wild：+3.1
- 在绝大多数多模态基准上超过原有多层融合方案
四、DGP 工作流程拆解
第一步，图像送入 ViT，保留每一层输出，不提前合并或者丢弃中间层特征。
第二步，建立全对全通路，每一个 LLM 层都可以访问 ViT 的全部层级特征。
第三步，门控模块根据当前 LLM 内部语义状态、提问内容，自动给不同 ViT 特征分配权重。
第四步，当前语言层融合选中的视觉信息，继续向前推理；不同步骤会自动切换视觉粒度。
第五步，整套路由参数跟着模型一起微调，不需要改动基座模型主干，属于插件式增强。
五、这项突破带来的实际价值
首先，它解决了一个长期矛盾：一张图里面既有微小文字、局部物件，又需要整体场景理解，固定视觉特征很难同时做好；其次属于轻量改造方案，不用从头训练大模型，已经上线的多模态模型都有机会接入；另外路由行为具备可解释性，研究者可以观察每一层语言模型到底调用哪一层视觉，方便后续定位 VLM “看图认错” 的原因。
六、现存局限
DGP 会引入额外路由开销，相比原版单层方案推理速度变慢；增益在简单看图说话任务里比较有限，优势集中在复杂视觉问答、细粒度识别；目前验证以公开基准为主，在超长多图、视频多模态场景还没有大规模测试；它是融合增强模块，不能单独作为一个完整大模型。
【相关 FAQ】
问题 1：NeurIPS 2026 的 DGP VLM 架构突破，怎么实现让大模型每一层按需看图？
回答 1：NeurIPS 2026 的 DGP 搭建 ViT 和 LLM 层之间全对全的动态门控通路，每一层语言模型都能读取全部视觉编码器分层特征，依靠可学习门控，根据语义与问题动态挑选对应粒度的视觉信息，实现按需看图。
问题 2：NeurIPS 2026 的 DGP，对比普通 VLM 的单层视觉注入有多大提升？
回答 2：NeurIPS 2026 的 DGP 在 LLaVA‑1.5‑7B 基线之上，SQA‑I、MM‑Vet、VizWiz、LLaVA‑Wild 等主流评测都拿到明显正向提升，尤其擅长需要细节识别和复杂视觉推理的任务。
问题 3：NeurIPS 2026 的 DGP VLM 架构，能不能直接用在现有的多模态大模型上面？
回答 3：NeurIPS 2026 的 DGP 属于插件式融合模块，不需要重训基座，已经在 LLaVA、Qwen3‑VL、LLaVA‑NeXT 验证有效，配套代码开源，开发者可以把它接入现有 VLM。
问题 4：NeurIPS 2026 的 DGP VLM 架构，会不会带来额外的推理负担？
回答 4：NeurIPS 2026 的 DGP 因为维持全部层级连通并增加门控路由计算，相比传统单层注入方案，推理开销更高、速度更慢，是换取更强视觉理解能力的代价。
【参考资料】
[2026-11-10]（NeurIPS 2026｜VLM 架构新突破：DGP 打通全部 ViT 与 LLM 层，让大模型每一层按需「看图」）机器之心
[2026-11-10]（NeurIPS 2026 VLM 新方案 DGP：动态门控路径）新浪科技
[2026-11-04]（Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers）arXiv
[2026-11-03]（DGP：全层级动态融合多模态视觉语言模型解读）智源社区
[2026-10-20]（NeurIPS 2026 录用论文概览：多模态方向亮点）机器之心
【免责声明】
以上为 NeurIPS 2026 DGP VLM 架构相关论文资讯整理；DGP 的性能增益基于论文给定测试环境与基座模型，在不同硬件、数据集、业务场景中效果会存在差异；该方案存在推理开销上升的短板；开源代码、后续迭代、落地适配由研究团队维护；本文仅作为技术解读，不构成模型选型、二次开发的确定性建议。
本文来自作者[超波转译]投稿，不代表环球科技潮立场，如若转载，请注明出处：https://www.zennew.com/kjyw/202611/1220.html
评论列表（4条）
我是环球科技潮的签约作者“超波转译”！
希望本篇文章《NeurIPS 2026 VLM 新架构 DGP，打通全部 ViT、LLM 层实现分层按需看图》能对你有所帮助！
本站[环球科技潮]内容主要涵盖：科技,科技新闻,黑科技
本文概览：NeurIPS 2026 收录这篇 DGP 动态门控路径方案，是多模态视觉语言模型的重要架构突破，它抛弃传统只把单层视觉特征一次性送入大语言模型的做法，搭建全连接路由通道，让每一层 LLM 都可以自由读取全部 ViT 层级的视觉特征，根据当前语义、问题、画面动态挑选合适粒度的图像信息，不用固定接入点，在 LLaVA、Qwen3-VL 等主流多模态基座上都能稳定提分，由西北工业大学和香港科技大学联合完成，代码已经开源，后续可以直接拿来改造现有 VLM，对图像细节识别、复杂视觉推理任务提升很明显。现在市面上绝大多数 VLM，都是取出 ViT 最后一层特征，投影之后一次性喂进语言模型，不管是要识别细小文字，还是理解整张图片的高层语义，全程共用同一套视觉信息；就算少数多融合方案，也只是提前压缩特征，或者写死固定连接，模型没有办法在推理的时候自主切换视觉来源。ViT 浅层抓边缘、纹理、小字这类细节，深层负责物体、场景、语义，DGP 的思路就是释放分层视觉潜力，让语言模型浅层拿细粒度特征做识别，深层调用高层视觉做推理，每一层都按需看图。想要看懂这套方案，先分清旧架构痛点，再理解门控路由机制，然后对照公开评测指标，最后看它的落地限制，就能明白这项工作对后续多模态模型迭代的价值。