邵宗文：数据库托管平台介绍.docx

2011
数据库托管平台
腾讯网

邵宗文
alanshao@
先手
围棋解释“先手:为了争
取主动,取得胜利,每下
一子,使对方必应,这叫
先手。有时为了争取先手
,甚至丌惜付出相当大代
价。

2011
单兵深入

2011
·

2009年前, 腾讯网布局的选择
–谋快速发展; 各业务单打独斗快速抢占细分领域。
平台推进

2011
·

2010-2011, 腾讯网布局的选择
–借助平台优势; 各业务充分利用资源相互借力打力,
腾讯网面临的挑战
QQ空间

2011
各业务发展越来越快,同时跨部门之间的
数据交互沟通也越来越迫切。
Reader

渠道

手机
IM
结构化的
信息

多媒体
内容

分享
UGC

互动
编辑内容
搜索

参与

运营平台
资料库
平台
内容管理系统

互动平台
传统数据库使用结构图
用户

应用项目连接一个主库,进行读写操作。
2011
从库通过同步主库数据做热备,很少提供服务。
MySQL
Replication
开发人员会
产生慢SQL影响服务
存在硬件单点
前端应用项目
R/W Master DB
无法IDC容灾
Slave DB/Backup
高峰时会有性能问题
一个主库带一个从库的双车道
式,当有高峰访问时候,就显
得拥堵不堪。
2011
Load Balancer
DNS

Queries
Writes

Master A

可应对硬件故障

可应对开发人员
慢SQL,保障服务
业务监控报表
Master B
Writes
R/W Masters
单机混跑模式
实现IDC级容灾
遇高峰可扩
实时监控
Read-only Replicants
w/ Roles
多主库多从库的高架桥模式,
从容应付高峰压力,即便某几
个道路堵塞,也无碍大局。
Web & Applications
数据库托管平台目标

2011
Ø
目标
l打造业内一流托管平台,实现高可用,可扩性,高性能,高效性
l高可用,可扩性:对故障机器,延迟超过阀值的从库进行自动摘除,幵通
过建立南北多IDC数据中心实现可扩展性,%高可用。
l高性能:针对各种丌同业务项目,提供自动化告警及优化建议,从而应对
更大的高幵发访问。
l高效性:采用托管平台,提供了简单的域名访问数据库模式,提高了开发
速度。
腾讯网数据库托管平台的运行情况
2011
Ø
Ø
数据库平台电子流的运行情况
1. 新项目申请 105个。
2. 新授权访问申请 131个。
其他数据
,%高可用。
,上海,深圳,天津4个IDC数据中心,合计共投入
百台DB机器。
数据分布与线消耗少负载均衡数据互备
就近访问响应时间短柔性可控容灾优
,几十万张表
,2天模式进行各个项目的全量数据库备份,备份存档时
间受存储空间的影响只有约几十天。
,已提供了几十个端口共几百个实例的混跑服务。秀
A

2009年和2010年搭建数据库平台之后对比
2011
变化趋势:
关键要素:
服务规模:
对比2009年1台DB只能提供1个实例服务,现在通过单机
混跑模式扩展了好几倍的服务规模。为公司极大的节约了
机器成本。
项目数据库管理:
采用电子流管理项目数据库一般新项目只需要3分钟,降低
了沟通成本。告别了之前主要依赖邮件和rtx,电话进行数
据库申请的模式。
隐患库表:
从之前的没有隐患库表检查,到现在定期的库表监控及优
化反馈,同时对比2009年,已经将暴露出的十几个严重影
响性能的库表进行了优化清理。
宕机时间:
从之前每月2-3次宕机,到现在连续300多天零宕机,实现
%的稳定性。
高性能:
针对世界杯期间,球迷中心和竞猜将近几千万活跃用户的
高幵发读写操作压力下,数据库平台很好的承载了超过预
期几十倍的高幵发读写访问。
维度
新平台特性
服务规模
平台采用百台机器,提供几百个实例的混跑服务
项目数据库管理
采用电子流管理项目数据库,有效降低了沟通成本。
隐患库表
通过告警形式,及时将隐患库表显现出来
宕机时间
从之前的每月2-3次宕机,到现在300多天服务零宕
机。
可扩展性
从之