基于多语种语音信号的情感识别研究.pdf

济南大学
硕士学位论文
基于多语种语音信号的情感识别研究
姓名:李博
申请学位级别:硕士
专业:信号与信息处理
指导教师:王玉泰
20100410
摘要语言是人类特有的表达情感的重要工具,话语中不仅包含语义信息,也包含人们特定的情绪心理特征。传统的语音处理系统往往着眼于内容的准确性,忽略了对心理特征的研究。近年来,随着人机自然交互、心理检测、智能机器人等诸多领域的应用需要,针对语音信号分析辨识其中的情感特征,受到越来越多的研究人员的关注,语音情感识别成为语音处理领域一个新的研究热点。但是,目前对情感识别的研究还不深入,在情感语音数据库的建立、情感特征参数提取、情感识别方法等诸多方面的研究还没有形成系统的理论。研究人员对英语的分析较多,而对汉语的研究较少。另外,情感参数的选取主要集中在语音声学方面,而对融合了语义、面部表情、人体生理信息的多模式识别研究较少。因此,可以说语音情感识别尚处于初步阶段,还有许多工本文以多语种情感语音为研究对象,对语音情感数据库的建立、语音声学特征参数的提取、基于声学特征的情感识别、结合语义的情感识别等问题进行了深入的研究,第一,选择平静、高兴、愤怒、惊奇和悲伤智楦凶刺谑笛槭一肪诚侣贾情感语音样本,建立包括汉、英、日、韩、俄等在内的多语种情感语音数据库。第二,分析了不同情感状态下多语种语音信号的声学特征,提取了韵律特征参数,对不同语种的情感语音进行了声学特征的比较,得出了语音情感特征的一般规律,即在同一情感状态下,不同语种的声学特征存在相似性。第三,以多语种情感语音数据库为样本集,分别运用主元素分析法及高斯混合模型法进行了情感识别实验,,在分析声学特征的基础上,结合语义信息对语音情感进行识别。首先对带语句的语义信息。然后将语音信号的韵律特征与语义信息结合,采用高斯混合模型法进行识别。实验结果表明,结合语义信息的情感识别率比单纯使用韵律特征的识别率作须要深入下去。主要包括以下内容:,通过动态时间规整算法识别语句中的情感关键词,提取高霭俜值恪济南大学硕十学位论文
本文的主要创新,一是建立了多语种情感语音数据库,通过声学特征参数的提取、分析,得出了语音情感特征的一般规律;二是在韵律特征的基础上结合语义信息,进行了情感识别实验,获得了比使用韵律特征更高的识别率。语音情感识别,多模式识别,主元素分析法,高斯混合模型法,动态时间关键词:规整基于多语种语音信号的情感识别研究
,,,,百琾,琤珽,,琣,,,,瓵济南大学硕十学位论文猻,,.
.甌琫琺琍珼..,.,籺甌瑃:摹于多语种语音信号的情感识别研究.,篺,;,,
课题的研究背景第一章绪论语音情感识别的研究现状随着计算机和多媒体技术的发展,人机交互能力越来越受到人们的重视。语音信号是人机交互的主要方式,它不仅可以传达语义,还可以传递情感信息。实现计算机的拟人化,使其能感知周围的环境和对象的态度、情感,自动的对说话者提供舒适的对话环境,消除人机之间的障碍,成为计算机领域的重大研究课题。解决人机交互中的问题,语音情感识别成为关键。这需要计算机主动适应操作者的要求,识别操作者的情感,根据情感的判断调整人机交互的方式,实现人机交互的自然化、智能化、人性化。源只有三种——语言、图像和文字。用视觉和文字传递信息显然比用语音传递效果差,因为语言中除了实际的发音内容外,还包含了发音者的喜怒哀乐等各种信息。所以,语言是人类交流最常用、最方便、最重要和最有效的形式。另外,语言与人类的智力活动、文化和社会的进步都有着密切的联系,它具有最大的信息容量和最高的智力水情感在人们生活和交流中扮演着重要的角色,而包含在语音信号中的情感信息是人所表达的情感不同,那么意思就可能完全不同,听者在感知上就会产生较大的差别。但是传统的语音信号处理会把这部分情感信息当做噪声去掉。实际上,语音信号不仅包含了文字信息,还包括着语调和情感信息。人们在接受各种语音信息的同时,如何有效的利用语音信息中的各种情感信息以达到最佳的信息传递效果,是今后语音信息处理研究的发展方向,所以对语音信息中情感的识别和研究具有重大的研究意义。语音情感识别,就是通过分析语音对应于情感的变化规律,提取不同情感状态的特征,以此来确定被测对象的情感状态。早在年,发现人的情感变化年,麻省理工大学多媒体实验室构造了一个“情感编辑器酝饨绺髦智楦行藕沤通过语音传递信息是人类特有的功能,声音是人类交流的工具,是相互之间传递信息最重要的手段。虽然人们可以通过多种手段获得周围的信息,但是最主要的信息平。非常重要的信息资源,是人们感知周围事物必不可少的信息。就同一句话来看,