基于多模态信息的新闻视频内容分析技术研究(可复制论文).pdf

基于多模态信息的新闻视频内容分析技术研究、一级学科学科专业作者姓名指导教师信息与通信工程信号与信息处理冀中张春田教授天津大学电子信息工程学院二零零七年十二月
知识水坝***@pologoogle为您整理
中文摘要关键词:化,并提取其中的语义内容,构建低层特征到高层语义之间的桥梁,最终建立视聚类部分,构造了一个新颖的度量特征量对主持人镜头采用系统聚类法进行聚类,并用模糊稻劾喾ń饩隽司劾喙讨凶允视︺兄等范ǖ奈侍狻8盟惴算法。创新性地将字幕变化、音频类型以及镜头类型等高层次内容特征联系起来对视频数据的有效处理、浏览、检索和管理正伴随着视频数据的快速增长而成为亟待解决的现实问题。视频内容分析技术旨在将非结构化的视频数据结构频的摘要、索引和检索等应用系统,提供给用户方便的视频内容获取方式。本论文以新闻视频为研究对象,以音频、字幕、视觉等多模态信息及其有效融合为研究手段,以模式识别理论中的相关模型为工具,对视频内容分析技术展开了较为深入的研究。主要贡献包括以下三个方面:岢隽艘恢中掠钡幕贛顾跤虻闹鞒秩司低房焖偌觳馑惴āF中,在预处理部分,引入了一种改进的利用压缩域信息检测人脸的方法;在镜头在保持较高检测性能的前提下提高了主持人镜头的检测速度。岢隽艘恢只诰霾呤鞯木低贩掷嗨惴ǎ挛攀悠稻低芬来畏治9告、“其他”、静态图像、主持人、记者和独自六类。其中广告、“其他”和静态图像三类分别利用黑帧、运动、时间以及人脸等特征进行检测;主持人镜头采用聚类方法进行检测;对于比较难区分的记者和独白镜头,创新性地将它们的检测转换为文本序列标注的问题,并采用条件随机场进行建模。该算法有效地融合了音频、人脸以及上下文等多模态信息,对新闻视频中重要的镜头进行了区分,并取得了较好的分类结果。岢隽艘恢秩诤弦羝怠⒆帜灰约笆泳醯榷嗄L畔⒌男挛殴适碌ピ7指共同处理,巧妙地将新闻镜头序列转换成为多个关键词序列,使新闻故事单元分割问题转换成为文本序列分割的问题。该算法采用条件随机场进行建模,充分利用了每个序列内以及序列之间的上下文信息,得到了较好的分割性能。此外,论文还综述了视频内容分析技术,构造了一个基于规则和隐马尔可夫模型的分层音频分类方法,实现了一个较完整的新闻视频中字幕提取框架,最终设计并实现了一个基于芄沟氖悠的谌莘治鲇胝RO低场综上所述,本论文分别从音频、字幕、视觉以及它们之间的有效融合等方面对新闻视频进行了基于内容的分析,实验结果证明了这些算法的有效性。新闻视频视频内容分析主持人镜头检测视频镜头分类新闻故事单元分割字幕提取多模态信息融合
知识水坝***@pologoogle为您整理
.瑆,甌猙,,琲.—,.琧.,篊琌琒琺琭琺甌.,,.,琣
,,,,
缩略词及中英文词汇对照表英文全称英文缩写强Ⅳ队对照中文自动语音识别提升随机场基于内容的视频分析基于内容的视频检索闭路字幕组件对象模型条件随机场离散余弦变换模糊混合高斯模型图谱聚类隐马尔可夫模型语言数据联盟最大后验估计最大熵马尔可夫模型美尔频域倒谱系数最大似然估计最近邻光学字符识别短时能量支持向量机光滑支持向量机国际视频检索测评视频内容分析及摘要系统短时过零率天津大学博士学位论文.
中文全称新闻视频自动语音识别文本面向视频的文字识别技术视觉特征音频特征多模态查全率查准率视频摘要静态视频摘要动态视频摘要视频数据挖掘关联挖掘关键帧提取镜头分类主持人镜头检测广告镜头检测独白镜头检测音频分类视频自动分类视频帧新闻故事单元分割镜头边界检测镜头转换镜头突变/切变镜头渐变音频帧音频片段中心频率频域能量对照英文缩略词及中英文对照表疭瓸狟疭/
系统聚类静音比韵律评估问题学习问题译码问题遍历型隐马尔可夫模型从左至右型隐马尔可夫模型离散隐马尔可夫模型连续隐马尔可夫模型半连续隐马尔可夫模型场景文本人工文本注释文本字幕文本主题字幕注释字幕宽高比字幕检测字幕定位字幕跟踪字幕增强字幕二值化处理字幕识别字幕提取灰度共生矩阵之型扫描交替扫描标记偏置马尔可夫覆盖黑帧序列标记过滤器天津大学博士学位论文—.—·猌
学位论文作者签名:冀多芬中羹牛凇年隆考以~留签字日期%乞户年虏剑疎独创性声明学位论文版权使用授权书签字日期:二。。矿年鹿こ或撰写过的研究成果,也不包含为获得墨连盘堂或其他教育机构的学位或证本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。特授权苤盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签字日期:索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机