视频中人体运动分析及应用与研究.pdf

南京理工大学博士学位论文视频中的人体运动分析及其应用研究姓名:钱惠敏申请学位级别:博士专业:控制科学与工程指导教师:王执铨;茅耀斌20091101愛????(???????????????????.77VII?????????????????????图声明本学位论文是我在导师的指导下取得的研究成果,尽我所知,在本学位论文中,除了加以标注和致谢的部分外,不包含其他人已经发表或公布过的研究成果,也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均己在论文中作了明确的说明。研究生签名:年月日学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档,可以借阅或上网公布本学位论文的部分或全部内容,可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文,按保密的有关规定和程序处理。研究生签名:年月日博士论文视频中的人体运动分析及其应用研究l绪论人类正在进入信息时代,计算机将越来越广泛地应用于各个领域。目前来讲,要实现计算机的复杂功能仍然需要借助专业知识,这就限制了更多未经专业训练人员使用计算机。因此,为了使计算机能更好地为人类服务,必须使计算机能够以人所习惯的方式与人进行交流,即让计算机具备听、说和看等能力,理解人类的语言、手势和行为等。常言道“百闻不如一见",有数据表明,人类在感知和理解周围环境时,约有80%的信息来自视觉系统。因此,为了使计算机与人顺畅交流,并像人那样通过视觉观察理解世界,自主适应环境,就需要开发计算机的视觉功能,使计算机能处理和理解图像、视频等外界环境信息的表达方式。计算机视觉的研究内容就是用各种成像系统模拟人类视觉器官功能感知图像,并由计算机模拟大脑完成图像处理和解释任务。比如,看到一段视频,人类很容易理解其中所包含的人体运动,计算机是否可以呢?基于视频的人体运动分析就是研究开发计算机理解人体运动的能力。,人类在研究人体运动上经历了一段漫长的历程【l】。早在15世纪,达芬奇为了更好地描绘出做某些动作(如爬楼梯)的人体,对人的肢体在这些动作下的受力情况或肌肉的状态作了详细的研究。17世纪,意大利的数学家、物理学家博雷利根据伽利略的力学原理解释动物肌肉与骨骼系统的运动情形,并著有《论动物运动》一书。19世纪,法国科学家马雷研制了马雷摄影枪,解决了连续摄影的问题,能在同一张底片上显示动物的运动,同期,英国摄影师迈布里奇发明了动物实验镜,可快速连续地投影,他们为记录人的运动做出了贡献。1973年瑞士的心理学家Jol瑚son【2】对人类运动感知所作的研究工作则开启了使用图像序列研究人体运动的先河。在他的实验中,将人体的关节上(如肩、肘、踝等)贴上十二个LED灯,因此当人处于黑暗环境中时只有关节点可见,记录人体运动时的光点运动组合就等于记录了人体的运动。实验结果显示这些光点集合可用以辨别运动的形态如行走、跑步等,还可用于判断运动者的性别。在此之后,人体运动分析得到了各领域研究者的广泛关注,包括计算机视觉、模式识别、图像处理、计算机图形学和人工智能等学科。人体运动分析是指对采集到的视频中的运动人体进行检测、跟踪以及理解和描述人体行为,属于图像分析和图像理解的范畴。信号和图像处理技术的不断更新和发展,以及有效的传感器和通信方式的发展,使得目标检测和跟踪这些低层处理工作的准确性和鲁棒性都有很大提高,从而为高层分析模块如行为理解和描述奠定了基础。人体行为分l绪论博士论文析和理解的目的是希望在系统中嵌入更多的智能,使得计算机系统能学习人类操作者的知识和经验,自动地识别人体行为,或者自动检测异常事件的发生,从而减轻工作人员的负担。人体运动分析研究具有广泛的应用前景,Gavrila【31总结了它的一些主要应用领域:智能监控系统、虚拟现实、智能人机交互、视频编码、运动分析、视频会议、医疗诊断等,以下对一些典型应用做进一步介绍。(1)智能监控系统智能监控系统是一个新兴的应用方向,它与传统意义上的监控系统的区别在于其智能性,它不仅用摄像系统代替人眼采集视频,而且用计算机代替、协助人完成监控任务,从而减轻人的负担。智能监控系统主要用在那些对安全要求敏感的场合【4,51,如银行、停车场、超级市场等公共场所,或者重要政府部门、军事基地等。目前,在这些场合已普遍安装了监控系统,但并未普遍实现智能监控,通常仍是记录摄像机的输出结果,当异常情况(如偷盗事件、暴力事件等)发生后,才通过查询监控视频寻找异常事件,这往往为时已晚。理想的智能监控系统要求实现连续不问断的实时监控,自动分析、理解摄像机捕获的场景与事件,当异常事件