韩国科学技术院 KAIST 在 11 月 15 日正式对外公布,由卢勇万教授团队研发的新一代视觉语音识别(VSR)AI 技术落地,这项技术依靠扩散大语言模型 DLLM,不靠音频,只捕捉唇部动作画面转文字,解决了传统唇语识别容易一错全错的痛点,相关论文拿下 EMNLP 2026 杰出论文奖。传统唇语 AI 是从前往后顺着句子顺序解码,一旦开头单词识别出错,后面整段文字都会跟着跑偏,而且很多发音的嘴型几乎一模一样,比如 p、b、m,单看嘴唇很难区分。这套新方案思路不一样,AI 优先挑嘴型特征清晰、识别把握大的单词先锁定,再用前后已经识别出来的文字上下文,反向推断那些模糊、难分辨的嘴型内容,就像拼拼图,先拼看得清楚的板块,再补空白。团队用 433 小时唇语视频数据集完成训练,最终词错率降到 19.4%,是目前同类方案里较低水平,未来可以给听障人群做沟通辅助,也能用在噪音巨大的工厂、机房等没法收音的场景。
技术核心信息表
| 项目 | 详情 |
|---|---|
| 研发机构 | KAIST 韩国科学技术院 |
| 负责人 | 卢勇万(Yong Man Ro)教授 |
| 技术名称 | DLLM-VSR 视觉语音识别(VSR,唇语识别) |
| 底层模型 | 扩散大语言模型 DLLM |
| 训练数据 | 433 小时唇部动作视频 |
| 测试词错率 | 19.4% |
| 核心逻辑 | 优先识别高置信单词,双向上下文补全模糊内容 |
| 论文荣誉 | EMNLP 2026 杰出论文奖 |
新旧方案对比
- 传统自回归唇语识别:固定从左往右顺序解码,单点错误会向后传导,容错差;嘴型相近的发音容易批量认错
- KAIST 新 DLLM-VSR:置信度优先解码,双向上下文推理;模糊位置依靠前后已确认文字辅助判断,降低连锁失误
落地应用方向
- 听障辅助:实时把对方唇语转文字,帮助听损人士无障碍交流
- 强噪音场景:工厂、工地、机舱等音频完全失效的环境,做语音转写
- 安防静音取证:视频没有收录声音的情况下,还原对话内容
- 可穿戴设备:后续优化轻量化版本,部署在智能眼镜、服务机器人上
后续研发计划
- 继续压缩模型大小、减少算力消耗,适配移动端、穿戴设备
- 扩充多语种数据集,提升多语言唇语识别能力
- 优化侧脸、暗光、遮挡等复杂画面下的识别稳定性
【相关 FAQ】
问题 1:KAIST 开发出视觉语音识别技术,这项技术是靠音频识别吗?
回答 1:KAIST 开发出视觉语音识别技术,它不需要音频信号,只依靠视频里的唇部动作画面,也就是唇语识别,把嘴型转换成文字。
问题 2:KAIST 开发出视觉语音识别技术,和传统唇语 AI 最大区别是什么?
回答 2:KAIST 开发出视觉语音识别技术,传统模型顺着句子从头往后识别,容易连锁出错;新技术先识别把握高的单词,再用上下文推断模糊内容,容错更好。
问题 3:KAIST 开发出视觉语音识别技术,这项技术的词错率是多少?
回答 3:KAIST 开发出视觉语音识别技术,经过 433 小时视频数据训练,这套视觉语音识别系统词错率为 19.4%。
问题 4:KAIST 开发出视觉语音识别技术,这项技术未来打算搭载在哪些设备?
回答 4:KAIST 开发出视觉语音识别技术,团队后续会精简模型,计划把视觉语音识别能力部署在智能眼镜、机器人等可穿戴设备上。
【参考资料】
[2026-11-15](KAIST 开发出视觉语音识别技术)IT 时代网
[2026-11-15](KAIST develops lip-reading AI based on diffusion LLM)KAIST 官网新闻中心
[2026-11-14](DLLM-VSR 扩散大模型唇语识别论文获 EMNLP 杰出论文奖)AI Times
【免责声明】
本内容仅为 AI 技术资讯整理,KAIST 视觉语音识别技术目前属于研究阶段,暗光、侧脸、遮挡场景识别效果会下降,商业化落地时间、设备适配情况以 KAIST 团队后续公开信息为准,不构成技术采购建议。
本文来自作者[磁轨编译]投稿,不代表环球科技潮立场,如若转载,请注明出处:https://www.zennew.com/kjyw/202611/2216.html
评论列表(4条)
我是环球科技潮的签约作者“磁轨编译”!
希望本篇文章《KAIST 推出全新视觉语音识别技术,先识别高置信词汇降低唇语识别连锁错误》能对你有所帮助!
本站[环球科技潮]内容主要涵盖:科技,科技新闻,黑科技
本文概览:韩国科学技术院 KAIST 在 11 月 15 日正式对外公布,由卢勇万教授团队研发的新一代视觉语音识别(VSR)AI 技术落地,这项技术依靠扩散大语言模型 DLLM,不靠音频,只捕捉唇部动作画面转文字,解决了传统唇语识别容易一错全错的痛点,相关论文拿下 EMNLP 2026 杰出论文奖。传统唇语 AI 是从前往后顺着句子顺序解码,一旦开头单词识别出错,后面整段文字都会跟着跑偏,而且很多发音的嘴型几乎一模一样,比如 p、b、m,单看嘴唇很难区分。这套新方案思路不一样,AI 优先挑嘴型特征清晰、识别把握大的单词先锁定,再用前后已经识别出来的文字上下文,反向推断那些模糊、难分辨的嘴型内容,就像拼拼图,先拼看得清楚的板块,再补空白。团队用 433 小时唇语视频数据集完成训练,最终词错率降到 19.4%,是目前同类方案里较低水平,未来可以给听障人群做沟通辅助,也能用在噪音巨大的工厂、机房等没法收音的场景。