iDDBS分布式数据库产品白皮书.doc

iDDBS分布式数据库系统
产品白皮书
二〇一四二〇一四年十一月
目录
1. 引言 3
2. 产品简介 3
3. 产品业务能力 4
4. 产品功能 4
. 产品功能架构 4
. 核心功能描述 5
5. 产品特点与优势 7
. 产品特点 7
. 产品优势 8
6. 产品性能 10
. 分布式数据库研发:内部集成测试 10
. 测试环境 10
. 测试摘要 11
. 性能总结 12
7. 平台环境要求 12
软件运行环境 13
8. 附录 13
引言
随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充,数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足以及商业分布式方案代价大:
1)集中式处理,势必造成性能瓶颈;应用程序集中在一台计算机上运行,一旦该计算机发生故障,则整个系统受到影响,可靠性不高,集中式处理引起系统的规模和配置都不够灵活,系统的可扩展性差。
2)海量数据无法支撑,越来越多的互联网企业在使用着一些关系型数据库以及非关系型数据库,但目前很多产品目前没有一个很好数据库架构来解决海量数据存储以及高访问量问题,通常受限于软件、硬件、网络IO瓶颈,它们无法支撑更多的访问量以及数据容量,在目前互联网上很少有一种比较通用的解决手段。
3)一般企业在这方面没有投入大量成本去做相关的技术研究,通常会在客户端做相应的技术改造,而这些方案是在特定语言以及特定的软件框架下形成的,很难有一个通用型,跨语言、开发框架难以复用的问题,也对相关的运维人员(比如DBA)带来维护上面的困难。
随着信息技术的发展,人们对海量数据的存储要求更加迫切,对数据查询性能的要求也更加迫切,对数据的扩展能力和高可用也有着强烈的要求,因此分布数据库的落地成为了必然。
产品简介
iDDBS是一个支持海量数据的高性能分布式数据库系统,具有对客户端透明,负载均衡、高可用性、低成本等特性。 iDDBS的核心部分是分布式数据库代理层软件。代理层是座落与Client和DB Server(s)之间的软件,其主要功能是执行SQL 解析、分库分表、实现读写分离、数据对称/非对称复制、路由表、执行并发SQL计算、切片SQL到多台数据库并合并回笼结果等功能,同时iDDBS能够有效的将分布在不同地域的数据库资源进行有效的整合,可以根据业务需要随时扩展节点,满足数据的海量存储和高并发的数据访问需要,可以将业务分摊到不同的节点进行业务处理,而应用程序却不需要做改动处理。
产品业务能力
iDDBS分布式数据库系统结合了当前ETL理论、分布式数据库理论、中国移动详单查询业务,其业务能力架构如下图所示:

服务接入模块以mysql驱动包方式,连接到分布式数据库代理中间件,通过消息处理路由转换负载均衡将各业务端的服务请求发送到各数据库节点。
数据库节点收到代理的请求信息,将处理的结果发送到代理服务器,代理服务器根据请求的sql信息,将返回的结果集进行合并处理,发送到服务请求端。
QoS和业务服务监控提供实时、灵活的SLA能力,满足对不同层次客户的个性化服务要求。
产品功能
产品功能架构
iDDBS分布式数据库系统的功能架构如下图所示:
核心功能描述
核心功能的简要描述如下表:
一级
二级
三级
数据同步管理
数据导出
数据导出连接管理
数据导出sql管理
数据导出变量传递管理
动态日期表数据导出管理
数据导入
数据导入连接管理
导入数据表名称管理
动态日期表数据导入管理
历史数据清理
数据清理连接管理
删除数据的表名称管理
删除数据的字段条件管理
冗余处理
主备切换
当主机出现故障自动切换到备用服务器上
垂直切分
支持自动故障自动切换
当主机出现故障自动切换到备用服务器上
负载均衡
优先策略处理
进行对节点负载信息和执行结果选择要发送的服务节点
核心支撑服务
客户端用户权限验证
只有提供了正确的代理用户账号和密码才可以连接代理服务器
对可连接的ip号段信息进行管理
连接管理
初始化对象连接池的数量
初始化数据库最大连接数
初始化数据库最小连接数
设置连接池的刷新周期
设置数据库空闲连接数
对可连接的ip进行可访问控制并对用户名和密码进行控制
对象池管理
代理服务读对象池io个数管理
代理服务客户端线对象池个数管理
代理服务可处理mysql对象池个数管理
线程池管理
代理服务线程池个数管理
心跳检测管理
定时将心跳信息和异常信息写入文件
路由服务
能够获取本次会话的sql信息
能够将通过规则服务信息和sql信息获取要路由的