网易视频云：移动端音视频应用优化之道.docx

网易视频云：移动端音视频应用优化之道.docx移动端音视频应用优化之道手机APP在音视频方面的应用产品,近两年呈井喷状态。观众在流畅地观看着视频画面的同时,背后其实包含了大量的技术难题。本次分享将从手机摄像头数据采集开始,把视频编码、数据传输、视频解码、画面显示整条链路中的技术难点和优化方法进行详细讲解。另外,还会对音视频开发者最关心的一些问题如直播延时、画面清晰度、手机端资源消耗等展开讨论。移动端的音视频直播,点播,之所以能大量爆发,跟下面几点因素分不开。第一,音视频直播,点播的需求一直大量存在,包括各种行业应用,比如,视频门户、娱乐直播、游戏直播,在线教育、远程医疗,远程监控,企业协作,社交应用等。那么以前为什么没有全面爆发,是因为硬件条件不满足。首先,网络的带宽有限现在网速不断提升,很多都是光纤到小区,有线网络的上下行带宽已经达到要求。移动网络4G接入速度也挺快,满足了基本的视频直播带宽要求。而且网络资费也比较低,变得大众可接受。其次,智能硬件设备的大量普及,特别是大屏智能手机,平板,基本是人手一台。而且这些设备的性能也越来越强劲,4核CPU是常态,现在都是8核了,2GB内存是小意思,现在都配4GB了。硬件性能的提升解决了视频编解码的性能瓶颈,可以拿手机,平板作为PC机器使用。因此,以上几点满足视频直播的性能,带宽这些基本要求。网络费用便宜达到了大众消费级别,两者一碰撞就把以前压制的视频直播,点播需求都爆发岀来了,特别是移动直播,现在的理念是随时随地玩直播。一个完整的视频直播,点播过程主要包括以下几个方面。对于直播来说,首先是音视频推流端会把数据流推送到流媒体服务器,然后在通过CDN平台进行分发,最后观众用各种播放器从CDN拉流观看。对于点播过程来说,首先内容提供商要把视频文件转码,转成符合网络传输的格式,然后把视频文件部署到点播服务器,之后会通过CDN平台进行分发,主要是支持超大并发量的访问,最后观众用各个平台的播放器从CDN拉流观看。在点播过程中有两个额外的服务,一个是转码服务,用来转码各种音视频文件。另夕—个是存储服务,用来保存大量的音视频文件。不管是直播或点播服务,都会有一个视频云管理服务器,用来管理直播频道,点播文件,以及后台管理web页面。对外提供http接口,供产品的应用服务器调用。管理服务器协调推流客户端,流媒体服务器,播放器之间保证作为一个整体运行。对于移动端来说,主要涉及到推流端和播放器这两部分。其中推流端包括了音频,视频的采集,预处理,编码,打包,发送这几个模块。而播放器包括了码流接收,解码,后处理,显示这几个模块。分别讲述一下各个模块的功能和特点,音频是从麦克风采集,音视频从摄像头抓取图像,也可以抓取屏幕图片,比如游戏直播。当有混音需求时,也可以采集声卡的音频数据,然后跟麦克风的声音进行混音。对于采集的音频一般先要进行降噪处理,特别是户外环境下,噪声会上傲明显。如果涉及到互动直播,有双向通话的情况,还需要对音频进行回声抑制处理防止出现回声效果。对于采集的图像可以进行一些特效滤镜处理上匕如黑白,黄昏,提亮,美颜等,这些处理非常耗费性能,一般都是需要用OpenGLES来实现。也可以进行图像叠加,比如给主播加个帽子,或者为了保护版权,加个水印图片。所有的这些操作都有实时性要求,因为后端要编码成视频流。因此,对于一般的图像处理算法,当用到视频场景下,有时很难达到性能要求,比