蚂蚁开源了 Duo,会边看边聊

标题:蚂蚁开源 Duo 双向世界模型,原生支持边看边聊的全双工实时交互

蚂蚁技术研究院联合西湖心辰正式开源 Duo,它是双向世界模型 RWM 的首个落地版本,主打边看边聊、全双工实时视听交互,和普通先看画面、等用户说完再回复的多模态模型不一样,Duo 可以持续接收画面、声音信息,一边观察画面一边实时对话,还支持随时被打断,它把智能决策主体内置在世界模型里,不再是传统数字人那种 ASR、大模型、TTS、渲染拼接的流水线,靠 Intent 和 Realization 两个耦合模块同步运行,Intent 负责思考、判断什么时候开口、什么时候倾听,Realization 同步生成匹配口型、表情、语气的音视频,两个模块在统一时间轴上对齐,不会出现画面和说话不同步的问题,适合虚拟陪伴、沉浸式 NPC、实景教学、视频实时讨论这类场景,源码、论文、演示案例同步对外放出,开发者可以基于它做可打断、能实时观察画面的交互数字人。

一、Duo 模型基础信息清单

  • 模型名称:Duo(Reciprocal World Model,双向世界模型 RWM)
  • 发布主体:蚂蚁技术研究院 + 西湖心辰
  • 核心能力:边看边聊、全双工视听交互、可随时打断
  • 核心模块:Intent 认知决策模块、Realization 视听生成模块
  • 推理节奏:约 0.7 秒一个时间切片持续处理
  • 输入:实时视频画面、音频、文本
  • 输出:同步语音、人脸视频、对话内容
  • 开源物料:模型权重、推理代码、技术论文、演示 Demo
  • 核心特点:自主决定发言时机,不是收到指令才回复

二、两大核心模块分工清单

  1. Intent 模块(认知决策)
  2. Realization 模块(视听生成)

持续感知音视频,判断交互状态,选择说话或者等待,产出对话内容与交互决策信号,不只是单纯回答问题。

接收 Intent 的隐状态,同步生成人脸视频、语音,口型、表情、语气保持一致,做到音画对齐。

三、Duo 与传统多模态数字人方案对比表

对比项目传统拼接式数字人管线蚂蚁开源 Duo 双向世界模型
交互方式一问一答,用户说完才开始生成全双工,边看画面边聊天,支持打断
决策逻辑靠外部脚本控制什么时候说话模型内生判断发言、倾听时机
生成链路ASR→LLM→TTS→视频渲染,多阶段割裂双模块时序绑定,统一时间线同步输出
口型表情匹配容易出现滞后、错位生成端直接对齐语音,一致性更高
适合场景播报、固定问答沉浸式陪伴、实时看图讨论、游戏 NPC

【相关 FAQ】

问题 1:蚂蚁开源了 Duo,会边看边聊,Duo 是什么类型的模型?

回答 1:蚂蚁开源了 Duo,会边看边聊,Duo 是双向世界模型 RWM 的首个实现版本,主打全双工实时视听交互,支持持续看画面、实时对话、随时打断。

问题 2:蚂蚁开源了 Duo,会边看边聊,Duo 依靠哪两个模块实现交互?

回答 2:蚂蚁开源了 Duo,会边看边聊,Duo 依靠 Intent 认知决策模块和 Realization 视听生成模块紧密耦合,一个负责思考判断,一个负责同步生成音视频,实现边看边聊。

问题 3:蚂蚁开源了 Duo,会边看边聊,Duo 和普通多模态大模型最大差别是什么?

回答 3:蚂蚁开源了 Duo,会边看边聊,普通多模态模型大多是接收图片 / 视频后一次性给出回答,Duo 是持续感知实时画面音频,自主决定什么时候开口,支持对话过程中随时被打断,是原生连续双向交互。

【参考资料】

[2026-11-17](蚂蚁开源了 Duo,会边看边聊)蚂蚁开源公众号

[2026-11-17](蚂蚁技术研究院联合西湖心辰发布 Duo 双向世界模型)界面新闻

[2026-11-11](Duo: A Reciprocal World Model for Full-Duplex Interaction)arXiv

【免责声明】

以上信息仅为 AI 技术资讯整理,不构成模型商用、二次开发选型建议;Duo 模型能力、开源协议、后续迭代计划以蚂蚁官方开源仓库、技术论文为准。

本文来自作者[超链溯源]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/2851.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 超链溯源
    超链溯源 2026年11月18日

    我是环球科技潮的签约作者“超链溯源”!

  • 超链溯源
    超链溯源 2026年11月18日

    希望本篇文章《蚂蚁开源了 Duo,会边看边聊》能对你有所帮助!

  • 超链溯源
    超链溯源 2026年11月18日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 超链溯源
    超链溯源 2026年11月18日

    本文概览:标题:蚂蚁开源 Duo 双向世界模型,原生支持边看边聊的全双工实时交互

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们