KAIST 推出全新视觉语音识别技术,先识别高置信词汇降低唇语识别连锁错误

韩国科学技术院 KAIST 在 11 月 15 日正式对外公布,由卢勇万教授团队研发的新一代视觉语音识别(VSR)AI 技术落地,这项技术依靠扩散大语言模型 DLLM,不靠音频,只捕捉唇部动作画面转文字,解决了传统唇语识别容易一错全错的痛点,相关论文拿下 EMNLP 2026 杰出论文奖。传统唇语 AI 是从前往后顺着句子顺序解码,一旦开头单词识别出错,后面整段文字都会跟着跑偏,而且很多发音的嘴型几乎一模一样,比如 p、b、m,单看嘴唇很难区分。这套新方案思路不一样,AI 优先挑嘴型特征清晰、识别把握大的单词先锁定,再用前后已经识别出来的文字上下文,反向推断那些模糊、难分辨的嘴型内容,就像拼拼图,先拼看得清楚的板块,再补空白。团队用 433 小时唇语视频数据集完成训练,最终词错率降到 19.4%,是目前同类方案里较低水平,未来可以给听障人群做沟通辅助,也能用在噪音巨大的工厂、机房等没法收音的场景。

技术核心信息表

项目详情
研发机构KAIST 韩国科学技术院
负责人卢勇万(Yong Man Ro)教授
技术名称DLLM-VSR 视觉语音识别(VSR,唇语识别)
底层模型扩散大语言模型 DLLM
训练数据433 小时唇部动作视频
测试词错率19.4%
核心逻辑优先识别高置信单词,双向上下文补全模糊内容
论文荣誉EMNLP 2026 杰出论文奖

新旧方案对比

  • 传统自回归唇语识别:固定从左往右顺序解码,单点错误会向后传导,容错差;嘴型相近的发音容易批量认错
  • KAIST 新 DLLM-VSR:置信度优先解码,双向上下文推理;模糊位置依靠前后已确认文字辅助判断,降低连锁失误

落地应用方向

  1. 听障辅助:实时把对方唇语转文字,帮助听损人士无障碍交流
  2. 强噪音场景:工厂、工地、机舱等音频完全失效的环境,做语音转写
  3. 安防静音取证:视频没有收录声音的情况下,还原对话内容
  4. 可穿戴设备:后续优化轻量化版本,部署在智能眼镜、服务机器人上

后续研发计划

  1. 继续压缩模型大小、减少算力消耗,适配移动端、穿戴设备
  2. 扩充多语种数据集,提升多语言唇语识别能力
  3. 优化侧脸、暗光、遮挡等复杂画面下的识别稳定性

【相关 FAQ】

问题 1:KAIST 开发出视觉语音识别技术,这项技术是靠音频识别吗?

回答 1:KAIST 开发出视觉语音识别技术,它不需要音频信号,只依靠视频里的唇部动作画面,也就是唇语识别,把嘴型转换成文字。

问题 2:KAIST 开发出视觉语音识别技术,和传统唇语 AI 最大区别是什么?

回答 2:KAIST 开发出视觉语音识别技术,传统模型顺着句子从头往后识别,容易连锁出错;新技术先识别把握高的单词,再用上下文推断模糊内容,容错更好。

问题 3:KAIST 开发出视觉语音识别技术,这项技术的词错率是多少?

回答 3:KAIST 开发出视觉语音识别技术,经过 433 小时视频数据训练,这套视觉语音识别系统词错率为 19.4%。

问题 4:KAIST 开发出视觉语音识别技术,这项技术未来打算搭载在哪些设备?

回答 4:KAIST 开发出视觉语音识别技术,团队后续会精简模型,计划把视觉语音识别能力部署在智能眼镜、机器人等可穿戴设备上。

【参考资料】

[2026-11-15](KAIST 开发出视觉语音识别技术)IT 时代网

[2026-11-15](KAIST develops lip-reading AI based on diffusion LLM)KAIST 官网新闻中心

[2026-11-14](DLLM-VSR 扩散大模型唇语识别论文获 EMNLP 杰出论文奖)AI Times

【免责声明】

本内容仅为 AI 技术资讯整理,KAIST 视觉语音识别技术目前属于研究阶段,暗光、侧脸、遮挡场景识别效果会下降,商业化落地时间、设备适配情况以 KAIST 团队后续公开信息为准,不构成技术采购建议。

本文来自作者[磁轨编译]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/2216.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 磁轨编译
    磁轨编译 2026年11月17日

    我是环球科技潮的签约作者“磁轨编译”!

  • 磁轨编译
    磁轨编译 2026年11月17日

    希望本篇文章《KAIST 推出全新视觉语音识别技术,先识别高置信词汇降低唇语识别连锁错误》能对你有所帮助!

  • 磁轨编译
    磁轨编译 2026年11月17日

    本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技

  • 磁轨编译
    磁轨编译 2026年11月17日

    本文概览:韩国科学技术院 KAIST 在 11 月 15 日正式对外公布,由卢勇万教授团队研发的新一代视觉语音识别(VSR)AI 技术落地,这项技术依靠扩散大语言模型 DLLM,不靠音频,只捕捉唇部动作画面转文字,解决了传统唇语识别容易一错全错的痛点,相关论文拿下 EMNLP 2026 杰出论文奖。传统唇语 AI 是从前往后顺着句子顺序解码,一旦开头单词识别出错,后面整段文字都会跟着跑偏,而且很多发音的嘴型几乎一模一样,比如 p、b、m,单看嘴唇很难区分。这套新方案思路不一样,AI 优先挑嘴型特征清晰、识别把握大的单词先锁定,再用前后已经识别出来的文字上下文,反向推断那些模糊、难分辨的嘴型内容,就像拼拼图,先拼看得清楚的板块,再补空白。团队用 433 小时唇语视频数据集完成训练,最终词错率降到 19.4%,是目前同类方案里较低水平,未来可以给听障人群做沟通辅助,也能用在噪音巨大的工厂、机房等没法收音的场景。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们