NeurIPS 2026 收录了来自西北工业大学、香港科技大学团队的 DGP 方案，这是 VLM 视觉语言模型架构上的新突破，DGP 全称 Dynamic Gated Pathways 动态门控路径，它搭建 ViT 和 LLM 之间全对全连接通道，让 LLM 每一层都能根据自身语义状态、任务需求，自主挑选 ViT 任意一层的视觉特征，不再像传统 VLM 那样只固定拿 ViT 最后一层特征送入 LLM，读文字细节、识别局部物体时自动取用低层细粒度视觉信息，理解画面整体语义、场景关系时自动调取高层语义特征，大家可以直接在 LLaVA、Qwen3-VL 这类主流 VLM 基座上接入 DGP 做微调，接入之后在图文问答、视觉推理类评测集上都有稳定提升，代码已经开源，开发者可以直接复现实验效果。
一、传统 VLM 的痛点
- 主流方案：只取 ViT 最后一层特征，投影之后一次性送入 LLM，所有 LLM 层共用同一套视觉信息
- 缺陷：ViT 低层是纹理、文字、边缘细节，高层是场景、物体关系语义，固定单一层特征无法适配 LLM 不同层的推理需求
- 老的多层融合方案：大多是提前写死连接规则，不是动态自适应路由，灵活性不足
二、DGP 核心原理清单
- 全称：Dynamic Gated Pathways（动态门控路径）
- 核心结构：构建 ViT 全部层 ↔ LLM 全部层的全连接路由
- 门控机制：每个 LLM 层自带独立门控，根据当前语义状态，动态分配各个 ViT 层特征的权重
- 适配方式：模块化插件，不改动原有 ViT、LLM 主干，在原有 VLM 基础上增加路由模块
- 开源地址：https://github.com/YingyingYan1/DGP
三、实验评测结果（基于 LLaVA-1.5-7B）
| 评测基准 | 分数提升幅度 | 任务类型 |
|---|---|---|
| SQA-I | +4.2 | 科学图文问答 |
| MM-Vet | +3.3 | 综合多模态评测 |
| VizWiz | +3.1 | 面向视障人群视觉问答 |
| LLaVA-Wild | +3.1 | 真实互联网图片问答 |
四、DGP 适用基座与边界
- 验证基座：LLaVA-1.5 7B/13B、Qwen3-VL-2B、LLaVA-NeXT
- 优势：推理时动态选择视觉粒度，模型可解释性变强，能看到每一层 LLM 选中哪一类视觉特征
- 局限：全对全连接会带来少量额外计算开销；目前是学术方案，还没有大规模商用落地
【相关 FAQ】
问题 1：NeurIPS 2026 的 DGP 在 VLM 里打通全部 ViT 与 LLM 层，和之前多层融合方法差别在哪？
回答 1：NeurIPS 2026 的 DGP 打通全部 ViT 与 LLM 层，采用动态门控路由，LLM 每一层按需挑选 ViT 特征；而老的多层融合方案一般是预先固定连接关系，不能根据样本、任务实时调整权重。
问题 2：NeurIPS 2026 DGP 这个 VLM 架构方案，能不能直接在 LLaVA 上使用？
回答 2：NeurIPS 2026 DGP 可以直接在 LLaVA-1.5、LLaVA-NeXT 基座上接入，属于模块化插件，不需要重新训练 ViT 和 LLM 主干，只需要微调路由门控模块。
问题 3：NeurIPS 2026 DGP 让 VLM 每一层按需调用视觉特征，实际效果提升体现在哪些场景？
回答 3：NeurIPS 2026 DGP 让 VLM 每一层按需调用视觉特征，在读取图片小字、价格识别、复杂图文推理、真实场景问答这类任务提升最明显，SQA-I、MM-Vet 等评测指标都有稳定上涨。
问题 4：NeurIPS 2026 DGP 方案是否开源，普通开发者可以复现这个 VLM 实验吗？
回答 4：NeurIPS 2026 DGP 方案代码已经开源，开发者可以下载代码，在 LLaVA、Qwen3-VL 等基座上复现这套打通 ViT、LLM 全层路由的 VLM 实验。
【参考资料】
[2026-11-10]（NeurIPS 2026｜VLM 架构新突破：DGP 打通全部 ViT 与 LLM 层，让大模型每一层按需「看图」）新浪财经
[2026-11-04]（Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers）arXiv
[2026-11-06]（NeurIPS 2026 DGP 动态门控路径：VLM 跨层视觉融合新方向）arxivnews
【免责声明】
本文内容为 NeurIPS 2026 学术论文公开信息整理，DGP 属于学术研究方案，不是商用成品模型；方案性能、算力开销随基座模型、训练参数变化，不代表落地产品效果，不构成项目选型、技术落地的直接建议。
本文来自作者[星域调度]投稿，不代表环球科技潮立场，如若转载，请注明出处：https://www.zennew.com/rgzn/202611/40.html
评论列表（4条）
我是环球科技潮的签约作者“星域调度”！
希望本篇文章《NeurIPS 2026 VLM 新方案 DGP打通全部 ViT 与 LLM 层，实现分层按需调用视觉特征》能对你有所帮助！
本站[环球科技潮]内容主要涵盖：科技,科技新闻,黑科技
本文概览：NeurIPS 2026 收录了来自西北工业大学、香港科技大学团队的 DGP 方案，这是 VLM 视觉语言模型架构上的新突破，DGP 全称 Dynamic Gated Pathways 动态门控路径，它搭建 ViT 和 LLM 之间全对全连接通道，让 LLM 每一层都能根据自身语义状态、任务需求，自主挑选 ViT 任意一层的视觉特征，不再像传统 VLM 那样只固定拿 ViT 最后一层特征送入 LLM，读文字细节、识别局部物体时自动取用低层细粒度视觉信息，理解画面整体语义、场景关系时自动调取高层语义特征，大家可以直接在 LLaVA、Qwen3-VL 这类主流 VLM 基座上接入 DGP 做微调，接入之后在图文问答、视觉推理类评测集上都有稳定提升，代码已经开源，开发者可以直接复现实验效果。