移动端音视频应用优化之道..pptx

移动端音视频应用优化之道
目录
1
背景
2
音视频
处理过程
4
端到端
优化策略
5
总结
3
网易视频云
架构
市场需求
视频门户、娱乐直播、游戏直播、在线教育、远程医疗、
远程监控、企业协作、社交应用等各行业存在巨大需求。
网络带宽
网络带宽的不断提速,同时网络资费相应地降低,视频
上行和下行所需的带宽和流量已经达到要求。
智能硬件
智能硬件设备的高速发展,机器性能越来越强劲,让移
动端的视频应用井喷爆发,真正变得唾手可得。
背景
音视频处理流程图
音视频播放器
(iOS/Android/Web)
推流
( RTMP )
音视频采集SDK
( iOS/Android/PC )
本地录像上传
拉流
流媒体服务器(RTMP/HLS/HTTP)
CDN
直播流录制
音视频文件
分布式存储服务
HTTP方式
文件上传
录制上传
直播录制服务器
音视频播放器
( iOS/Android/Web )
多媒体转码系统
视频转码
视频点播服务
(VOD)
视频点播
点播回源
流媒体分发平台
CDN
拉流
(HTTP/HLS)
视
频
直
播
视
频
点
播
采集
麦克风、声卡;摄像头、屏幕;采集卡;
难点:有很强的平台相关性;
预处理
降噪、回声抑制、混音;美颜滤镜、水印;
难点:算法选择和性能优化;
编码
、VP8/9; AAC、Vorbis;FLV、TS、MP4;
难点:性能优化和码流质量
推送
协议:RTMP、HLS、HTTP、RTP
难点:Qos控制策略
音视频处理过程(推流端)
1
2
3
4
接收
协议:RTMP、HLS、HTTP、RTP
难点:缓冲区设置,网络反馈
解码
、VP8/9; AAC、Vorbis;FLV、TS、MP4;
难点:码流兼容性
后处理
色彩增强;音量增强;
难点:算法选择和性能优化;
显示
拉伸,裁剪,走马灯,动态缩放;
难点:有很强的平台相关性;
音视频处理过程(播放端)
1
2
3
4
网易视频云直播框架
推流( RTMP )
拉流(RTMP/HLS/HTTP)
客户端App
( iOS/Android/PC /Web)
推流端SDK
播放器SDK
视频云管理服务器
流媒体分发平台
CDN
网易视频云服务端
视频云应用服务器
应用管理服务器
视频云管理Web端
网易云计算认证平台
网易视频云点播框架
上传( HTTP )
拉流(HLS/HTTP)
客户端App
( iOS/Android/PC /Web)
文件上传SDK
播放器SDK
应用管理服务器
网易云计算认证平台
网易视频云基础服务
云存储服务云转码系统
NOS NTS
VOD视频点播
视频云管理Web端
CDN分发平台
网易视频云服务端
视频云管理服务器
视频云应用服务器
网易视频云的优点
多平台直播
支持PC,Web,移动端发起直
播,全平台覆盖,随时随地开始
直播。
人脸美化
对采集的视频源进行人脸美化处
理,提供多种特效滤镜,可在直
播中随意切换。
混音功能
提供多路音频混音处理,极大地
丰富了直播音效,可在直播中随
意切换。
数据统计
提供多种维度的统计数据,实时查看
使用流量、带宽和并发数,精确反映
用户使用情况。
音视频分流
支持独立音频、视频直播,根据场景
在直播过程可灵活切换。
码流自适应
实时监测全链路的网络情况,自适应
调整直播流,满足复杂网络条件下高
清流畅直播需求。
视频格式
、HEVC/、VP8/9;
编码器:通用性、复杂度、性能、质量、码率;
编码模式
软件:兼容性好、性能低、耗电
硬件:性能高、适配性差、省电
码率控制
码率控制算法优化,确保码率波动小;
控制GOP尺寸,避免码率出现频繁尖峰;
缓冲策略
低延时、快速启动、主动追赶、适合直播;
抗抖动、加大缓冲、预加载流、适合点播;
端到端的优化策略