基于手势识别的人机交互系统设计报告.docx

基于手势识别的人机交互系统设计报告.docx、 设计要求 2基本要求 2拓展要求 33・ 完成事项说明 3二、 算法选择 3(1)由于不允许使用深度信息,所以选择通过肤色检测与分割来获取手。………3(2)为了应对复杂背景,采用背景差分的方法来去除相对静止不动的背景图像。 3(3)由于进行人机交互时往往有人脸出现在摄像头范围内(当需要两只手共同操作时甚至是必须),所以我们不能忽视这个问题。在这里,我们采取haarcascade分类器进行人脸检测,并移除人脸。 3(1)通过凸包算法获得手部图像的凸包,再求出其凸缺陷,这种算法运算复杂度较低,利于实时性要求高的程序,而且,识别准确率也较高 4(2)手势质心,可以较准确地定位手,捕捉手移动的轨迹。 43・手势识别算法 4(1) 通过对有效凸缺陷点数量可以准确地识别剪刀、石头、布的手势。 4(2) 上一方法在识别的手势数量比较少的时候效果较好,但是当需要识别的手势数量变多的时候效果变得较差,所以在这种情况下,我采取了以手部图片的Hog特征、使用机器学习SVM算法进行分类,得到不错的效果。 44•手势轨迹识别算法 4(1)采取隐马尔可夫模型对时序数据建模,进而识别手势轨迹。 4三、 程序设计 4四、 实验结果 7五、 总结 8(1) 8(2) 8(3) 9附录(程序代码〉七、参考文献 52一、设计要求基本要求(1)基于摄像头获取的图像数据,实现手部检测;⑵实现拳头、剪刀、布三个手势的识别;设计良好的人机界面,用于展示原始图像以及处理结果等信息;拓展要求(1)控制鼠标完成移动、单击、双击、拖动等操作;⑵控制电脑关屏、开屏;设计锥子剪刀布游戏:播放提示语、判断胜负等;⑷实现空中手写轨迹识别;⑸其他拓展功能。完成事项说明(1)基于摄像头获取的图像数据,实现手部检测;⑵实现拳头、剪刀、布三个手势的识别;设计良好的人机界面,用于展示原始图像以及处理结果等信息;控制鼠标完成移动、单击、双击、拖动等操作;⑸控制电脑关屏、开屏;(6)设计锥子剪刀布游戏:播放提示语、判断胜负等;⑺实现空屮手写轨迹识别;⑻实现控制电脑玩CS游戏算法选择图像处理与手部区域分割由于不允许使用深度信息,所以选择通过肤色检测与分割来获取手。为了应对复杂背景,采用背景差分的方法来去除相对静止不动的背景图像。由于进行人机交互时往往有人脸出现在摄像头范围内(当需要两只手共同操作时甚至是必须),所以我们不能忽视这个问题。在这里,我们采取haarcascade分类器进行人脸检测,并移除人脸。手部特征提取(1)通过凸包算法获得手部图像的凸包,再求出其凸缺陷,这种算法运算复杂度较低,利于实时性要求高的程序,而且,识别准确率也较高(2)手势质心,可以较准确地定位手,捕捉手移动的轨迹。手势识别算法(1)通过对有效凸缺陷点数量可以准确地识别剪刀、石头、布的手势。(2)上一方法在识别的手势数量比较少的时候效果较好,但是当需要识别的手势数量变多的时候效果变得较差,所以在这种情况下,我采取了以手部图片的Hog特征、使用机器学习SVM算法进行分类,得到不错的效果。4•手势轨迹识别算法(1)采取隐马尔可夫模型对时序数据建模,进而识别手势轨迹。三、程序设计幵始图1基本流程框架图像采集图2图像预处理基本流程