【科技前沿】
光明日报北京3月25日电(记者邓晖)人说话时嘴唇动作跟语音同步,可以通过识别唇动来进行语言交流。对于声带、喉舌损伤的失声人群,唇语是一种不占用双手的、日常无障碍交流的有效方式。但唇语对讲话者友好,对解读唇语的听众来说却并不轻松。为降低唇语解读难度,现有技术手段常采用磁场、视觉图像、超声波等方法。以最流行的非接触式视觉图像方法为例,尽管其唇语识别准确率较高,但依然容易受到面部角度、光强、头动和遮挡等因素的干扰。特别是在新冠肺炎疫情期间,佩戴口罩给基于视觉的唇动解读带来全新挑战。通过直接捕捉面部肌肉细微动作解读唇语技术具有重要的科学研究价值与广阔的应用前景。
近日,清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队合作,研发出了一种新颖的唇语解读系统。相关研究成果在线发表在《自然·通讯》期刊上。
该系统包含低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模型。传感器将唇部肌肉运动产生的电信号传输到解码系统,翻译成可沟通的语言。该研究测试分析了传感器的机械与电气性能,采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征。通过比较同步采集的唇动和声音信号,证明了无论是否发声,嘴唇运动信号都具有一致性。进一步分析了语速与唇动模式等不同参数对信号特征的影响规律。提出了一种基于原型学习的空洞循环神经网络模型,用于唇动信号的识别,在20个分类(100样本/类)情况下,测试准确率达到94.5%。
值得注意的是,上述自供电传感器由柔性聚合物薄膜与柔性电极组成,可提高人体佩戴的舒适性。研究团队利用该系统进行了多种场景应用展示,如解锁大门的身份识别、移动模型车的方向控制、唇动/语音的实时转换等,展示了该系统在唇动识别领域的可行性和应用潜力。
面向失声人群日常无障碍沟通需求,该工作为特殊场景下唇语翻译应用开拓了创新的研究方向。此外,该工作在机器人控制、个人身份验证、人机界面、残疾辅助、无声语音、情报、反恐任务实施、康复、生物医学工程和虚拟现实等诸多领域中都具有较大的潜在应用价值。
团队相关负责人表示,尽管该工作已展示了该技术的有效性和应用前景,但仍然面临系统可靠性、稳定性等问题。研究团队相信,随着研究的深入,该技术有望切实为失声人群服务,提供无障碍语言交流的科技手段。
来大姨妈可以吃什么水果 | 什么属相好 | 回奶吃什么药 | 杨枝甘露是什么做的 | 为什么会肠鸣 |
油烟机什么牌子好 | 蛋白粉和胶原蛋白粉有什么区别 | 许莫氏结节是什么 | 脾虚湿气重吃什么药 | 女人脱发是什么原因 |
女生第一次是什么感觉 | 夜里咳嗽是什么原因 | 哈喇味是什么味道 | 月柱桃花是什么意思 | 罴是什么动物 |
木瓜是什么味道 | 腰疼是什么原因引起的男性 | 滴虫性阴道炎吃什么药 | 穿斐乐的都是什么人 | 什么毛什么血 |
吃东西想吐是什么原因hcv8jop9ns2r.cn | 玄关是什么hcv8jop1ns3r.cn | 嗓子总有痰吃什么药huizhijixie.com | 气化是什么意思hcv7jop9ns9r.cn | 肚脐下四指是什么位置hlguo.com |
空谷幽兰下一句是什么hcv8jop9ns4r.cn | 蚂蚁最怕什么东西fenrenren.com | 什么样的泥土kuyehao.com | 晚上吃芒果有什么好处和坏处hcv7jop6ns0r.cn | 脑白质疏松是什么病jiuxinfghf.com |
右手臂酸痛是什么前兆hcv8jop5ns1r.cn | 阿飘是什么意思hcv8jop7ns2r.cn | 礼部尚书是什么官xinmaowt.com | 什么是思想hcv8jop4ns2r.cn | 伸舌头锻炼有什么好处hcv9jop6ns5r.cn |
着床是什么意思hcv8jop0ns7r.cn | 复方什么意思hcv7jop6ns3r.cn | 6月23号是什么星座hcv8jop7ns7r.cn | 熟地黄是什么xinjiangjialails.com | 63岁属什么hcv7jop5ns2r.cn |