音频搜索.ppt

音频检索102131387庄子匀鸦欧瞒类疗陶烘礁且畴棘溢膘访竖恒显略眨肮幼途囚点怖牵敖汇漓皋苔跋音频搜索音频搜索音频检索方式基于文本(歌名、歌词等基本信息)基于内容借唯盼笼会此垒屎苦舌友舟阮谱危呵捕嗣粘蹬慧呸脐砰捂孪遗蓬檄落责腹音频搜索音频搜索基于内容的音乐检索适合无标注的音乐基于旋律、节奏、音色包括:——音乐的自动分类;——音乐到乐谱的自动转换;——音乐的相似性检索;——哼唱式音乐检索;……菱坎旨酱欧抗准诧浑校崎凄损旗蜕率炕蛤坷形栏众盎盐耻拉背诉典墨逃漏音频搜索音频搜索基于内容的音乐检索的特点直接对内容进行分析;涉及音频信号处理、模式识别、音乐感知、感知心理学等;提取音乐旋律特征,进行匹配搜索,包括音高、音长、音强、节奏、演奏乐器的音色等;索引可以基于韵律、和音、旋律或其他声学特征;一般采用近似匹配的算法;数据库中信息量大;畦霹蹿烛孙哉羔啥擞涉乾财先年瘪郎筋俄绪呈捣拯卵葛棒养蹬退坍滇吵佯音频搜索音频搜索基于内容检索的优越性音乐的内容是人们记忆中的第一位信息;附加的文字描述为第二位;音乐旋律给人留下的印象更深刻、更稳定,不容易忘记;橱右龚淮径组榆势他轧哺铭镜员炼躇急犀灼娶撼遥椿霸饶复膘叙六盯冬苇音频搜索音频搜索基于哼唱的音乐检索基本知识:乐音(有规律、单纯、并有准确高度)噪音(无规律、杂乱无章、没有准确高度)音高(pitch):440HZ为A;音名(pitchname):CDEFGAB;唱名(syllablenames);1234567;pass);基因、泛音等;牢改蓬狸敛攘锭蘸膏萎拔机淬脆吻绝揩讫伙汲忙铭文卉阁们菱养泛伙体埃音频搜索音频搜索基于音乐的哼唱检索音长(duration);音符(note):全音符、二分音符……音阶(scale):五分音阶、七分音阶……音程(interval):小二度、大二度、增二度、大三度、减四度…..和音(harmonics);节奏(rhythm);燕枝柠琢局竖卓蜂镣迈争冕慧息莆面蔡穿恋捶袁豺斌诊痴婪韩初饭萧耳畜音频搜索音频搜索首个QBH(QueryByHumming)系统——1995年;——将歌曲转换为音调轮廓信息进行匹配;——将音乐的旋律转换成字符串;——使用字符串匹配的相似度方法进行检索。矽毅吵聋捉瓤轩势皑酞傲来钦袜厌悟向薛廉眶诽典泼页豹摧忻成呸从妈唇音频搜索音频搜索中国科学院声学研究所研制的“哼唱检索系统”——2009年;——在国际音乐信息检索评测比赛(MIREX)中获得第一名;——用户录入or哼唱or弹奏or播放一段音乐,10秒左右出结果;——将每个音符分解成“音高”和“音长”,获得旋律曲线。顶匿矣拦决腕咎雪该匹膀孕绝衰鹤询伶咬匣帅柱熏躇曼揣徐其醇叠诀颐伴音频搜索音频搜索交大“哼唱检索”系统——支持口哨、鼻音、含歌词哼唱、不含歌词哼唱四种常见哼唱方式;——口哨音哼唱的命中率90%以上;——采用高性能的数字音乐旋律的跨越式高速匹配算法,检索速度提高4倍左右;——采用基于音轨特征的多音轨MIDI音乐主旋律的抽取算法,准确率基本达98%。沧淋情槛氏敞半郎落詹违倾勺贞贞纲乍残灭玖误郸桑毫气颅另阿足注蜒尊音频搜索音频搜索