可穿戴手语翻译器研制.pdf

研究生优秀毕业论文研究生优秀毕业论文中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文,是本人在导师指导下进行研究工作所取得的成果。除己特别加以标注和致谢的地方外,论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确的说明。作者签名:掉签字日期:竺!￡!:±中国科学技术大学学位论文授权使用声明作为申请学位的条件之一,学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权,即:学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅,可以将学位论文编入《中国学位论文全文数据库》等有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。保密的学位论文在解密后也遵守此规定。作者签名:签字日期:口保密(——年)导师签名:签字日期:211生笪:9万方数据摘要摘要在智能设备迅速发展的今天,人们之间的交流方式多种多样,但最主要依然是语言交流。正常人通过谈话交流,聋哑人之间通过手语交流。然而聋哑人和不熟悉手语的普通人之间却难以进行交流,这就迫切需要一种可以实现手语和正常语言转换的工具。手语手势识别是可以将手语转换为其它表达形式比较直接的方式。相比较于其他手势捕获技术,表面肌电(surfaceelectromyography,SEMG)传感器和轨迹传感器(包括加速度和陀螺仪)在获取动作信息中有着更多的优势。表面肌电可检测精细动作,而轨迹传感器对大幅度动作检测有着更明显的优势,二者的融合在很多研究及应用中脱颖而出。基于作者所在实验室前期研究基础,本文提出一种融合表面肌电和轨迹传感器(加速计和陀螺仪)信息的手语识别方案,并设计制作了一套基于双核DSP的手语翻译设备。本文工作是在实现真正手语翻译设备上的一次成功尝试,为此项技术的市场应用奠定了坚实的基础。本文主要工作概括如下:(1)设计并实现了一种融合双手8通道表面肌电、6通道加速度(Acceleration。ACC)和6通道角速度(AngularVelocity,AV)信息的手势识别算法方案。该算法首先通过右手腕带的4通道表面肌电信号进行手势活动段分割,然后提取表面肌电的绝对值均值和自回归(AutoRegressive,AR)模型系数和加速度与角速度的降采样信号作为特征送入分类器。分类器采用决策树的方式先进行单双手分类和朝向分类,然后使用多流隐马尔可夫模型(,)进行最终决策。(2)设计并实现了一套基于双核DSP的便携式手语实时翻译设备。该设备包含左手腕带和右手腕带,每个腕带均集成四通道表面肌电传感器、一个3D加速计和一个3D陀螺仪,使用时分别绑在左右手前臂肌腹位置。右手腕带为从设备,采集右手表面肌电、加速度和角速度信号并通过蓝牙传送到左手腕带。左手腕带为主设备,在采样左手相同数据的同时接收右手腕带数据并同步,然后执行相应的算法对手语动作进行分类识别,通过蓝牙发送识别结果,并实现了识别结果的语音播报。(3)在DSP上实现了一种分帧隐马尔可夫(fi'amingHMM)计算策略。针对隐马尔可夫算法实现的高复杂度会导致手势识别延时较大的问题,提出将隐马尔可夫的计算过程拆分为多个片段的思想。每个片段计算完成后保留关键参数,在活动段结束后结合关键参数获得最终结果。由于每个片段所需要的参数可以在活动段开始后依次获得,相对于常规活动段结束后才开始进行HMM计算的方案,此优化策略大大降低了识别延时。万方数据摘要(4)为验证研制手语翻译设备的实时性和可靠性,开展了系统系统测试实验。测试结果表明,手语翻译设备总重141克,可实现30种中均识别率为(-I-)%,平均识别延时为175ms。关键词:,。butthedeafcanonlyusesignlanguage,,,theapproachusingsurfaceelectromyography(SE