标题:蚂蚁开源 Duo 双向世界模型,原生支持边看边聊的全双工实时交互
蚂蚁技术研究院联合西湖心辰正式开源 Duo,它是双向世界模型 RWM 的首个落地版本,主打边看边聊、全双工实时视听交互,和普通先看画面、等用户说完再回复的多模态模型不一样,Duo 可以持续接收画面、声音信息,一边观察画面一边实时对话,还支持随时被打断,它把智能决策主体内置在世界模型里,不再是传统数字人那种 ASR、大模型、TTS、渲染拼接的流水线,靠 Intent 和 Realization 两个耦合模块同步运行,Intent 负责思考、判断什么时候开口、什么时候倾听,Realization 同步生成匹配口型、表情、语气的音视频,两个模块在统一时间轴上对齐,不会出现画面和说话不同步的问题,适合虚拟陪伴、沉浸式 NPC、实景教学、视频实时讨论这类场景,源码、论文、演示案例同步对外放出,开发者可以基于它做可打断、能实时观察画面的交互数字人。
一、Duo 模型基础信息清单
- 模型名称:Duo(Reciprocal World Model,双向世界模型 RWM)
- 发布主体:蚂蚁技术研究院 + 西湖心辰
- 核心能力:边看边聊、全双工视听交互、可随时打断
- 核心模块:Intent 认知决策模块、Realization 视听生成模块
- 推理节奏:约 0.7 秒一个时间切片持续处理
- 输入:实时视频画面、音频、文本
- 输出:同步语音、人脸视频、对话内容
- 开源物料:模型权重、推理代码、技术论文、演示 Demo
- 核心特点:自主决定发言时机,不是收到指令才回复
二、两大核心模块分工清单
- Intent 模块(认知决策)
- Realization 模块(视听生成)
持续感知音视频,判断交互状态,选择说话或者等待,产出对话内容与交互决策信号,不只是单纯回答问题。
接收 Intent 的隐状态,同步生成人脸视频、语音,口型、表情、语气保持一致,做到音画对齐。
三、Duo 与传统多模态数字人方案对比表
| 对比项目 | 传统拼接式数字人管线 | 蚂蚁开源 Duo 双向世界模型 |
|---|---|---|
| 交互方式 | 一问一答,用户说完才开始生成 | 全双工,边看画面边聊天,支持打断 |
| 决策逻辑 | 靠外部脚本控制什么时候说话 | 模型内生判断发言、倾听时机 |
| 生成链路 | ASR→LLM→TTS→视频渲染,多阶段割裂 | 双模块时序绑定,统一时间线同步输出 |
| 口型表情匹配 | 容易出现滞后、错位 | 生成端直接对齐语音,一致性更高 |
| 适合场景 | 播报、固定问答 | 沉浸式陪伴、实时看图讨论、游戏 NPC |
【相关 FAQ】
问题 1:蚂蚁开源了 Duo,会边看边聊,Duo 是什么类型的模型?
回答 1:蚂蚁开源了 Duo,会边看边聊,Duo 是双向世界模型 RWM 的首个实现版本,主打全双工实时视听交互,支持持续看画面、实时对话、随时打断。
问题 2:蚂蚁开源了 Duo,会边看边聊,Duo 依靠哪两个模块实现交互?
回答 2:蚂蚁开源了 Duo,会边看边聊,Duo 依靠 Intent 认知决策模块和 Realization 视听生成模块紧密耦合,一个负责思考判断,一个负责同步生成音视频,实现边看边聊。
问题 3:蚂蚁开源了 Duo,会边看边聊,Duo 和普通多模态大模型最大差别是什么?
回答 3:蚂蚁开源了 Duo,会边看边聊,普通多模态模型大多是接收图片 / 视频后一次性给出回答,Duo 是持续感知实时画面音频,自主决定什么时候开口,支持对话过程中随时被打断,是原生连续双向交互。
【参考资料】
[2026-11-17](蚂蚁开源了 Duo,会边看边聊)蚂蚁开源公众号
[2026-11-17](蚂蚁技术研究院联合西湖心辰发布 Duo 双向世界模型)界面新闻
[2026-11-11](Duo: A Reciprocal World Model for Full-Duplex Interaction)arXiv
【免责声明】
以上信息仅为 AI 技术资讯整理,不构成模型商用、二次开发选型建议;Duo 模型能力、开源协议、后续迭代计划以蚂蚁官方开源仓库、技术论文为准。
本文来自作者[超链溯源]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/2851.html
评论列表(4条)
我是环球科技潮的签约作者“超链溯源”!
希望本篇文章《蚂蚁开源了 Duo,会边看边聊》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:标题:蚂蚁开源 Duo 双向世界模型,原生支持边看边聊的全双工实时交互