西北工业大学、香港科技大学团队在 NeurIPS 2026 放出 DGP（Dynamic Gated Pathways，动态门控路径）VLM 架构方案，打破现在主流多模态模型只把 ViT 最后一层特征输入 LLM 的固定融合模式，这套机制搭建 ViT 全部层和 LLM 全部层之间的全连接通路，依靠可学习门控做动态路由，LLM 里每一层会根据自身语义状态、图片和提问上下文，自主挑选合适粒度的视觉特征，浅层 LLM 偏向抓取底层纹理、轮廓，深层 LLM 取用高层语义、目标关系，不用人为提前设定连接规则，在 LLaVA、Qwen3-VL 等主流开源多模态模型上直接叠加 DGP 就能稳定涨点，在 SQA-I、MM-Vet、VizWiz 等图文推理、视觉问答榜单都拿到正向提升，而且属于插件式改造，不需要重头预训练，对现有 VLM 开发者友好。
一、DGP 基础信息清单
- 论文会议：NeurIPS 2026
- 方案全称：Dynamic Gated Pathways（DGP，动态门控路径）
- 研究单位：西北工业大学、香港科技大学
- 核心机制：ViT 所有层 ↔ LLM 所有层，全对全动态门控路由
- 适配基线：LLaVA-1.5（7B/13B）、LLaVA-NeXT、Qwen3-VL-2B
- 开源情况：项目代码已在 GitHub 开放
二、传统 VLM 融合方式和 DGP 对比
| 方案类型 | 连接方式 | 视觉特征供给方式 | 短板 |
|---|---|---|---|
| 主流基线方案 | 只接入 ViT 最后一层输出 | LLM 每一层拿到的视觉信息粒度完全一样 | LLM 浅层缺少细粒度视觉，深层冗余底层噪声，图文对齐弱 |
| 早期多层融合 | 提前定义稀疏、固定跨层连线 | 连接关系写死，不随问题变化 | 任务适配差，复杂图文推理收益有限 |
| DGP 动态门控路径 | ViT、LLM 层之间全连接 + 门控路由 | 每一层 LLM 动态选择 ViT 层特征 | 增加少量计算开销，路由模块需要微调训练 |
三、DGP 的工作流程
- 图片送入 ViT 编码器，完整保留 ViT 每一层输出的分层视觉特征，底层是边缘纹理，顶层是物体语义
- 建立全连接通路，所有 ViT 层特征都可以流向 LLM 的任意一层
- 门控路由模块接收当前 LLM 层内部语义状态、图文输入，自动计算每一路视觉特征权重
- 对应 LLM 层加权融合选中的视觉 token，继续向后推理
- 不同提问、不同图片，路由选择的 ViT 层组合自动变化，实现按需看图
四、公开实验关键指标（LLaVA-1.5-7B 基线）
- SQA-I：+4.2 分
- MM-Vet：+3.3 分
- VizWiz：+3.1 分
- LLaVA-Wild：+3.1 分
- 结论：11 项评测指标全部优于原版基线，跨模型迁移效果稳定
五、技术优势
- 模块化改造：在现有 VLM 基础上增加路由模块，不用重新大规模预训练，落地成本低
- 分层视觉按需调用：匹配 LLM 不同深度的语义需求，缓解模态对齐难题
- 泛化性强：在 LLaVA 系列、Qwen3-VL 上都能获得一致增益，不绑定单一基座
- 可解释性更强：路由权重可以分析模型在哪一步调用哪一类视觉信息
六、现存局限
- 全层通路会带来一定推理算力开销，原生推理速度会变慢
- 门控路由需要配套微调，零样本直接接入的提升效果有限
- 目前测试集中在 2B~13B 中小参数模型，超大参数量 VLM 的表现还待验证
【相关 FAQ】
问题 1：NeurIPS 2026 里 VLM 架构 DGP 打通全部 ViT 与 LLM 层，DGP 是什么含义？
回答 1：NeurIPS 2026 里 VLM 架构 DGP 打通全部 ViT 与 LLM 层，DGP 全称 Dynamic Gated Pathways 动态门控路径，是一套跨层路由机制，让 LLM 每一层都能动态挑选 ViT 各层视觉特征。
问题 2：DGP 让大模型每一层按需看图，和普通 VLM 只取 ViT 最后一层特征有什么区别？
回答 2：普通 VLM 固定只用 ViT 顶层特征喂给全部 LLM 层，粒度单一；DGP 打通全部 ViT 与 LLM 层，LLM 浅层自动取底层纹理信息、深层取用高层语义，不同任务动态切换视觉来源。
问题 3：NeurIPS 2026 的 DGP VLM 方案，能不能直接加到 Qwen3-VL、LLaVA 这类现成模型上？
回答 3：NeurIPS 2026 的 DGP VLM 方案属于插件式模块，可以叠加在 Qwen3-VL、LLaVA-1.5、LLaVA-NeXT 等现有多模态模型上，只需要微调路由模块，不用从头预训练。
问题 4：DGP 打通 ViT 和 LLM 全层之后，在图文评测上提升效果怎么样？
回答 4：DGP 打通 ViT 和 LLM 全层之后，在 LLaVA-1.5-7B 基线测试，SQA-I 提升 4.2 分，MM-Vet 提升 3.3 分，VizWiz、LLaVA-Wild 提升 3.1 分，11 项指标全部超过原版基线。
【参考资料】
[2026-11-10]（NeurIPS 2026｜VLM 架构新突破：DGP 打通全部 ViT 与 LLM 层，让大模型每一层按需「看图」）新浪财经
[2026-11-04]（Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers）arXiv
[2026-11-04]（DGP 动态门控路径：跨 ViT、LLM 全层路由多模态方案开源）CatalyzeX
[2026-11-04]（DGP 项目 Github 仓库发布，NeurIPS 2026 接收）Github 项目页
【免责声明】
本文仅整理 NeurIPS 2026 公开论文、媒体解读资讯，DGP 方案在超大模型、视频多模态场景效果未充分验证；叠加 DGP 会带来推理算力增加，实际业务部署需要权衡精度与延迟，所有实验结果、技术细节以论文原文和官方开源仓库为准，不构成模型选型、二次开发的确定性建议。
本文来自作者[脉冲映射]投稿，不代表环球科技潮立场，如若转载，请注明出处：https://www.zennew.com/rgzn/202611/180.html
评论列表（4条）
我是环球科技潮的签约作者“脉冲映射”！
希望本篇文章《NeurIPS 2026 VLM 新方案 DGP，实现 ViT 与 LLM 全层互通，让模型各层按需读取视觉信息》能对你有所帮助！
本站[环球科技潮]内容主要涵盖：科技,科技新闻,黑科技
本文概览：西北工业大学、香港科技大学团队在 NeurIPS 2026 放出 DGP（Dynamic Gated Pathways，动态门控路径）VLM 架构方案，打破现在主流多模态模型只把 ViT 最后一层特征输入 LLM 的固定融合模式，这套机制搭建 ViT 全部层和 LLM 全部层之间的全连接通路，依靠可学习门控做动态路由，LLM 里每一层会根据自身语义状态、图片和提问上下文，自主挑选合适粒度的视觉特征，浅层 LLM 偏向抓取底层纹理、轮廓，深层 LLM 取用高层语义、目标关系，不用人为提前设定连接规则，在 LLaVA、Qwen3-VL 等主流开源多模态模型上直接叠加 DGP 就能稳定涨点，在 SQA-I、MM-Vet、VizWiz 等图文推理、视觉问答榜单都拿到正向提升，而且属于插件式改造，不需要重头预训练，对现有 VLM 开发者友好。