基于嵌入式智能手语翻译手套设计.doc

基于嵌入式智能手语翻译手套设计.doc基于嵌入式智能手语翻译手套设计
张文李松林徐大杰
成都理工大学信息科学与技术学院
木系统设计一款能翻译手语的便携低功耗数据手套,旨在解决正常人与聋哑人的沟通障碍问题。数据手套能输出用户手势的姿态角、手指弯曲度、以及手部的加速度等。本系统使用模板匹配的方式,比较用户输入手势数据与模板库屮手势的相似度,找出手势库中与输入手势差异最小的手势。根据需要改进了加权的动态时间规划算法,把手势的加速度、姿态角度作为权值,与弯曲度数据有效融合, 最终正确的识别出用户的手势。
关键词:
数据T•套;T•势翻译;模板匹配;动态时间规划;
0引言
第六次全国人U普查公布的数据显示,全国各类残疾人总数为8502万人,其中听力残疾2054万人,言语残疾130万人,分别在残疾人总数的24. 16%%。聋哑人只能通过手语进行相互交流,他们与正常人的交流存在极大的障碍。本系统设计了一款低功耗便携式的智能手语翻译手套,相比于上述的手势捕获技术, 具有众多优势。该手套能精确的记录手势的空间数据,不存在手势死区,并且智能手套处理的数据量小,算法相对简单,识别速度快。
1系统构架
本系统手势识别分为3个部分,数据采集及预处理、数据段捕获和识别手势。数据采集通过弯曲度传感器、MPU9250获得;但由于外界环境等因素,数据会受到干扰,系统使用滤波达到较好效果。数据段捕获主要是寻找手势的起点和终点, 其采用门限判定法来分割手势。用户做手势时,手部的姿态、加速度、手指弯曲度有显著变化,通过设定门限值,确定有效数据段。识别手势主要采用加权动态时间规划,计算与模板库手势欧式距离,当两者总距离值最小,且小于设定的阈值时,则判定为同一手势。
2识别算法设计

弯曲度传感器采用模数转换得到手指的弯曲度。转换时,易受到电源波动和环境等影响,故在每次釆集时,进行模数转换5次,釆用冒泡排序,舍弃最大和最小值,求平均,最后送滑动窗U滤波。MPU9250集成加速度计、地磁计和陀螺仪, 通过特定的算法解算出加速度和欧拉角。对其进行数据归一化到[0,1],即:
x梞L n
max梞i n
(1)
A
其中A为归一化值,min为样本最小值,max为样本最大值。分别对弯曲度、加速度和姿态角进行数据归一化。

人在做出手势时,手指弯曲度、加速度、角度均有明显的差异。通过差分法可对手势的起止和终止做出判断,从而捕获到有效的手势信息。即:
ex
= Kci- O +1 匕d?di +
^9
廿山_/.士
4n,= I兄叩—+ - + l^n, - ^1
]44< . n-i. 士 d AAi =£; 44< tTr r-m 也 rv?以
(2)
A”1 s s zf :
其中表示第i个手指j时刻的手指弯曲度采样值,acd、M&表、十、f
示j吋刻,三维加速度值, 表示j时刻的三维角度值。
设定临界阈值组合,得到手势起始终止条件。
起始条件:
I f -fl ex、。
终止条件:
为排除系统偶然性,以连续多次采样数据作为判决数据。当几次数据均满足起始条件,判断手势开始;同时满足三个终止条件,判断手势结束;其他情况下,判断为有效数据段。

本部分使用动态时间规划算法,寻找输入与模板序列之间的最