多媒体通信技术多媒体同步.ppt

引言多媒体对象的同步关系抽象为以下两种类型: (1) 媒体内的时间关系媒体内的时间关系即流内同步, 主要是保证单个媒体流之间的简单时态关系, 也就是按一定的时间要求传送每一个媒体对象, 其表现为媒体流的连续性, 以满足人类感知上的要求。流内同步的复杂性不仅和单个媒体的种类有关, 而且和分布式系统提供的服务质量(Quality of Service, QoS)有关。同时, 也和源端和目的端操作系统的实时性有关。多媒体同步(2) 媒体间的同步关系媒体间的同步关系即流间同步, 主要是保证不同媒体间的时间关系, 如音频和视频之间的时态关系, 音频和文本之间的时态关系等, 表现为各个媒体流中在同步点上的同时播放。流间同步的复杂性和需要同步的媒体的数量有关。 多媒体对象在时间上存在着并行、顺序、独立关系, 在对象的时间表现控制上分别对应于并发、串行和异步执行。多媒体系统的同步控制必须保证在同步点上各个媒体之间能够保持时间关系。例如, 一个有语音讲解的多媒体幻灯片, 其讲解必须和一组画面同时表现, 且随着画面的显示, 讲解是顺序的。这里的同步点处于画面的改变点和讲解的起始点与结束点。又如, 一个可视电话系统, 其语音和图像序列通过通信网络传输到接收端, 且必须同步地在接收设备上演示, 以保持口型和声音同步。 多媒体数据连续媒体数据:有严格时间关系的音频、视频等类型的数据;静态媒体数据:其他类型的数据; 连续媒体数据与静态媒体数据逻辑数据单元(LDU:logic data unit):连续媒体数据的数据组织单元。流(Stream):媒体数据的LDU序列;?LDU,可长可短,一个LDU,可以是一个宏块、一个条、一帧图像或者一个场景;?LDU之间的时间间隔固定为40ms; 多媒体数据内部的约束关系(同步关系)1、基于内容的约束关系指用不同的媒体对象代表同一内容的不同表现形式时,内容和表现形式之间的约束关系。需要确保多种媒体对象所含信息的一致性。例如:对某一原始数据的多种表示形式:报表、图形、动画;?毫无联系的不同媒体数据的集合,不能称为多媒体数据;只有存在多种相互制约的关系的多种媒体数据,才能称为多媒体数据。2、空域约束关系又称:布局关系,用来定义多媒体数据显示过程中的某一时刻,不同媒体对象在输出设备(显示器、纸张)上的空间位置关系;?结构化文档、办公室文档结构ODA;多媒体同步3、时域约束关系又称:时域特征,反映媒体对象在时间上的相对依赖关系;主要包括两个方面:(1)连续媒体对象的各个LDU之间的相对时间关系;(流内同步)连续媒体内部的LDU之间的相对时间关系多媒体同步(2)各个媒体对象之间的相对时间关系;(流间同步)?P1、P2、P3:插入静止图片;?口形同步;?指针同步;提示:在3种约束关系(内容、空域、时域)中,时域特征是最重要的一种。当时域特征遭到破坏时,用户就可能遗漏或误解多媒体数据所要表达的信息内容。 多媒体数据的构成成分数据:包含了所要表达的信息内容的数据,如:文字、图形、图像、声音和视频;同步规范:成分数据之间的约束关系(同步关系);?同步规范包括:同步描述数据、同步容限;同步描述数据:表示媒体内部和媒体之间的时间约束关系;同步容限:时间约束关系所容许的偏差范围;?同步机制:维持多媒体数据的时域特征的工作机制;:如果一个时域事件在一个时域场景中的位置可以完全确定,则称为确定性时域事件; 时域场景和时域定义方案非确定性时域事件:如,暂停播放、恢复播放等事件,在时域场景中的位置不能事先确定,则称为非确定性时域事件;时域场景:由若干个时域事件构成,每一个时域事件都是与多媒体数据在时域发生的某个行为(如:开始播放、暂停、恢复播放、停止播放)相对应;