音乐可视化及其研究进展.doc

音乐可视化及其研究进展l引言音乐作为一种听觉艺术形式,在社会生活中扮演着重要角色。从符号学的角度说,音乐是一种抽象艺术;而从联觉角度看,听觉与视觉在物理性质与心理机制上十分相似,因此视觉艺术与听觉艺术常常相互影响,存在密切的联系。近代心理学也认为,音乐感知是多感知系统协同的认知活动,并不仅仅局限于听觉。因此,人们总是试图通过音乐表现某种视觉场景,又反过来是用绘画、摄影等视觉艺术表现音乐内涵。随着计算机技术的发展,音乐的形象化有了新的手段,这就是音乐可视化技术。作为一种全新的视听技术,音乐可视化在计算机平台上将听觉与视觉结合起来,在教育、艺术、商业等领域具有广阔的应用前景。近年来,音乐可视化也引起了科研人员的密切关注。本文探讨了音乐可视化的概念及其研究内容,综述了这一领域目前的研究进展,指出了亟待解决的问题。音乐可视化研究方兴未艾,它正向人们展现出美好的应用前景。 2相关概念及研究内容 “信息可视化”这个术语第一次出现在RobertsonCard和Mackinlay在1989年发表的文章《用于交互性用户界面的认知协处理器》中。该文认为,信息可视化是利用2D和3D动画对象来表示信息和信息结构的技术。北京大学冯艺东教授在《信息可视化》怛。一文中把信息可视化定义为从数据到可视化形式再到人的感知系统的可调节的映射。究竟何为信息可视化,学术界仍无定论,但一般认为,信息可视化是以计算机技术为核心,将抽象数据信息转化为直观视觉形式的过程。音乐可视化是信息可视化的一个分支。Wikipedia网站对它的解释是,音乐可视化是基于已记录的乐曲产生动画影像的计算机技术,这种影像通常实时产生并与音乐同步播放。事实上,这是音乐可视化的一种初步应用,如Windowsmediaplayer播放音乐时生成的几何图形、火焰、烟雾、水波等可视化效果。一般而言,音乐可视化是利用计算机模拟人类音乐联觉中音乐与图像的关系,将音乐信息映射为可视化形式的新技术。 : 1)可视化系统结构。研究音乐可视化系统的组成模块及系统结构”,如可视化音乐认知模型、可视化视觉传达模型、硬件组成与软件结构等。 2)音乐感知模型与特征提取。研究人对音乐的感觉与认识机制,建立描述模型。研究提取音乐的哪些表情特征元素进行分析及如何检测、分析这些元素。 3)音乐情绪检测。研究如何按照人的认识和思维方式对提取的音乐特征加以归类和理解,分析出音乐所传达的情绪哺汁,如快乐、惊奇、恐惧、悲伤等。 4)实时计算。研究如何提高数据分析的时效性,减少延时,解决分析音乐情绪带来的大计算量与显示实时性之间的矛盾,从而实现音乐与动画的同步播放。 5)沉浸感的显示。研究如何用曲线、二维图形、三维体图形、动画、图像等方式来表达音元素、音乐结构及音乐情绪,增强受众对音乐的沉浸感。 6)交互式图形界面。研究如何通过用户的可视化控制来改变变换过程中的参数,提高用户与系统交互的反应速度,使系统能按照用户需求更好地表达可视化效果。 7)音乐可视化应用研究。研究音乐可视化技术的各种具体应用,如音乐焰火、音乐喷泉、舞台表演、音乐教育(业余音乐欣赏、专业乐曲分析、环境艺术(音乐彩灯、医疗(如精神疾病的音乐治疗)等。基于计算机技术的音乐可视化在这些领域大将有作为。 3音乐可