智能手语翻译.doc

智能手语翻译

摘要:针对中国乃至全世界范围内聋哑人与正常人之间交流困难的问题,设计了智能双向仿生手语翻译系统。本系统可实现手指弯曲度检测、手的空间运动轨迹检测、手势状态与手语库匹配、发音及文本信息显示等功能,能够及时准确地处理各种手语手势信息进行手语转语音和语音转手语的双向翻译,且翻译速度快,实时性好,识别率高,适应能力强。
中国论文网/8/view-
关键词:手语;双向翻译;智能系统
1 作品简介
智能双向仿生手语翻译系统是基于STM32微处理器进行智能化控制的手语手势实时翻译设备。它将弯曲传感器等器件与全自主开发的32自由度仿生机械手臂相结合,通过特定的算法,实现及时准确地处理各种手语手势语音信息,实现手语转语音和语音转手语的双向翻译,翻译速度快,实时性好,识别率高,适应能力强。
2 原理结构
模块组成
作品的主要模块如图1所示。
(1)STM32微处理器
该处理器用于采集弯曲传感器和MPU-6050运动传感器的实验数据,通过算法处理数据判断手势信息,然后与手语库匹配翻译手语。
(2)弯曲传感器
弯曲传感器弯曲时其阻值会发生改变,可以反应手势信息,该弯曲参数可以通过串口传递至上位机,方便观察和调试。
(3)MPU-6050运动传感器
当手做出动作时,模块中的三轴陀螺仪、三轴加速器传感器能够获取相关数据,判断出手的空间运动状态。
(4)OLED显示屏
显示识别出的手语手势的文本信息,同时具有实时时钟显示及定时功能。
(5)语音合成模块
播放识别出的手语手势信息。
(6)蓝牙模块
方便下载和调试程序,与手机通讯,通过将手势转换为文字并传送到手机上,实现与手机通信以及手势编辑文字的功能。
主要功能
作品的结构框图如图2所示。
本作品的主要功能如下:
(1)手指弯曲度检测功能。位于五个手指背面的五个弯曲传感器能够及时快速地感知手指的弯曲程度,微处理器能及时获取弯曲传感器的弯曲参数,并通过相应的算法处理所获取的参数,进而对手势信息做出更合理的判断。
(2)手的空间运动轨迹检测功能。MPU-6050模块位于手套背面,当手发生翻转等动作时,其中的三轴陀螺仪和三轴加速度传感器能及时感应到相应的数据,微处理器及时处理数据,与弯曲参数相配合,能够更全面、准确地判断手的运动状态。
(3)手势状态与手语库匹配功能。微处理器内部存储有手语的状态信息,即手语库。微处理器通过算法对检测到的手语手势数据信息进行及时处理,然后与手语库进行匹配,从而得到准确的手语内容。
(4)发音及文本信息显示功能。微处理器将手语内容翻译成文本信息,通过显示屏显示出相应的文本信息,同时语音系统发出语音,达到翻译手语手势的目的。
工作流程
作品的工作流程如图3所示。
3 创新性
本产品将便携式手套和32自由度仿生机械手臂相结合,实现了手语转语音和语音转手语的双向交流,使得正常人和聋哑人之间的交流变得更加便捷。
本作品与其他的手语翻译设备相比,主要具有如下优势:
(1)本作品能够准确地刻画手势的空间运动轨迹和手指弯曲度等信息,获取手势信息方便可靠;仿生机械手臂能准确地识别语音并翻译成相应的手语。
(2)该设备的数