基于情感识别的实时交互式音乐可视化研究.doc

基于情感识别的实时交互式音乐可视化研究音乐可视化的实现形式与解决方案可谓精彩纷呈。音乐可视化有着广泛的应用: 音乐分析、信息检索、表演分析、音乐教学、音乐认知、情感表达、游戏娱乐。基于不同的应用,会有不同的系统设计方案。在教学领域,可能会强调音符、乐器、旋律、和声方面; 在音乐广场,通过控制的相关技术来实现音乐喷泉,着重表达喷水的花型组合变化、水柱高低、远近变化等; 在大型表演、酒吧、展览现场,可能会更强调画面带来的强烈的视觉冲击; 在游戏领域,可能会着重表现音乐自身包含的情感因素,通过虚拟角色的面部表情、动作变化及场景的变换来实现,等等。 用户接口及系统构架本系统设计为基于情感识别的实时交互式音乐可视化系统,采用一个可选的虚拟角色进行情感动作表达。系统需要减少系统负载和同时能够实时性地进行一音乐分析和可视化表演,从现场表演的麦克风和电子琴的音乐输入中提取出来的音乐特征通过相关信息处理和数据过滤,然后发送到音乐动画脚本和引擎,最后通过虚拟角色进行音乐情感的动作表达。本文希望允许用户与虚拟角色有一个沉浸式的交互体验,计算机的显示屏幕无法满足大型展览、表演现场的要求,虚拟现实的沉浸感也要求突破计算机显示尺寸的限制,使用大屏幕显示,可以采用圆柱型、洞穴状、或者矩形块拼接的大屏幕进行逼真显示,强制性制造出强劲的可视化效果。为了满足这个要求,可以把这个虚拟环境显示到一个大屏幕上,比如矩形块拼接的大屏幕或洞穴状的大屏幕,该屏幕可以提供实体大小的立体图像, 希望大屏幕立体显示和人们的自然的用户输入方式可以缩短虚拟与现实之间的距离,通过这种方法,用户可以体验到这种与三维实体大小的虚拟场景的现实性的交互而产生的幻觉,允许用户与观察者体验这种表演者与虚拟角色之间的真正的交互而产生的强制性的沉浸感。能用一种很自然的音乐表达方式与虚拟角色进行交互也是很重要的。因此,本文应该确保一旦设计为该方式的系统运行起来, 用户仅仅需要提供 MIDI 控制器或者麦克风的音乐输入方式就可以与程序进行交互。麦克风与 MIDI 控制器应该放置在特定的位置, 以便当用户实时表演时可以很方便地观察到虚拟角色的反应。能够体现音乐情感,同时又具体极强的可观赏性和趣味性的音乐可视化系统是本文的追求。本文将围绕音乐情感为中心建立一个音乐可视化系统,可以用来音乐分析和音乐可视化,通过对现场表演的实时语音及 MIDI 处理输入,通过处理、分析,最后映射到虚拟角色中。系统以麦克风和电子琴作为输入参数,通过处理,提取出相关的音乐特征,随后进行情感检测处理,实时性地用虚拟角色面部表情和动作变化、虚拟场景的变换来表达情感因素,最后通过大屏幕进行显示。图4一2 音乐感知过滤层流程图音乐感知过滤层的作用是双方面的。一方面,系统需要分析复杂的音乐数据输入流,以便提取有意义的音乐特征来准备后面的相关工作。另一方面,为了保证能模拟人类对音乐的情感反应的要求,系统需要采用前人对音乐情感方面的研究方法来组织这些特征。为了使角色得到音频信息流中的有用信息,系统需要将这种流变成一种简单的格式。因此本文在系统框架中添加了这种额外的音乐感知过滤层。在这一层中系统通过分析输入的音频信息,提取出重要的音乐特征,然后再将该层的结果作为输入传送给角色及场景认知层。为了对现场音乐表演中进行特征提取,系统对麦克风和电子琴的输入进行处理。本文采