基于手语语言学与人体运动学的手语识别研究.pdf

Classified Index: TP391
.:


Dissertation for the Doctoral Degree

STUDY ON SIGN LANGUAGE RECOGNITION
BASED ON SIGN LANGUAGE LINGUISTICS
AND HUMAN KINEMATICS







Candidate: Ni Xunbo
Supervisor: Professor Zhao Debin
Academic Degree Applied for: Doctor of Engineering
Speciality: Computer Application Technology
Affiliation: School puter Science and
Technology
Date of Oral Examination: 2009-09

University: Harbin Institute of Technology
摘要
摘要
随着计算机应用技术在现代社会影响的迅速扩大,传统的基于鼠标和键
盘的人机交互技术越来越显示出它们的局限性,因而研究多模式人机接口技
术在现实生活中变得越来越重要。手语识别做为多模式人机接口领域的一项
重要组成部分,已经吸引了越来越多的专家和学者们的注意。
理想的手语识别应能处理大量的既定的词汇,最大可能地满足使用者的
移动需要,在复杂环境下实时准确的识别,并且这种识别应该面向真正的、
非特定的手语操做者。目前非特定人手语识别与特定人手语识别相比还有较
大的差距,造成这一差距的主要原因包括非特定人数据本身的差异性矛盾与
训练样本的缺乏。数据差异性使得非特定人手语识别中提取手语数据有效的
共同特征非常困难。训练样本缺乏,使得在实际应用中模型的表达能力与样
本缺乏之间的矛盾成为制约识别系统效果的瓶颈。这两个问题的解决将对中
国手语识别及其它相关领域具有重要的意义。在本文中,针对数据差异性和
训练样本缺乏问题,我们从以下几个方面解决:
1、根据手语具有语言学和人体运动学特点,在保证原始数据完整性的
前提下,建立了手语语言学和人体运动学相结合的标记体系。根据上述标记
体系和目前没有手语数据检测方法的现况,提出了符合手语特点的数据检测
方法,用于检测生成和转换的手语数据的有效性。
2、提出了符合手语具有手语语言学和人体运动学特点的数据生成方
法,在此方法中应用了遗传算法和鲍德温效应,保证所生成数据是呈现出高
质量趋势增长的手语数据。
3、针对非特定人手语数据的差异性问题,首先我们提出了使用正交黎
曼流形的学习方法来寻找手语数据的差异性。其次,应用正交黎曼流形的切
向量来改进统计识别模型,解决非特定人手语数据的差异性影响识别效果的
问题。
4、在提出的手语数据生成方法中,遗传算法的“选择”操作是依靠目
前手语识别系统实现的,为了确保遗传算法的“选择”操作的正确性,提出
了对目前手语识别系统鲁棒性的验证方法。

关键词:非特定人手语识别;手语语言学;人体运动学;鲍德温效应;数
据生成;正交黎曼流形。
- I -
哈尔滨工业大学工学博士学位论文
Abstract
With the widespread use of puter in modern society, traditional human
machine interaction (HCI) technologies based on mouse and keyboard show their
increasing limitations. Thus, the research on multimodal HCI es more and
more important in real life. Sign language recognition (SLR), as one of the
important research areas of HCI, has spawned more and more interest in HCI
society.
An ideal SLR system would have a large and general vocabulary, support the
user’s need of movement to the widest range possible, and conduct real-time
recog