巨杉Tech SequoiaDB数据域及存储规划.pdf

巨杉 Tech | SequoiaDB 数据域及存储规划
1 背景
近年来，企业的各项业务发展迅猛，客户数目不断增加，后台服务系统压力也越
来越大，系统的各项硬件资源也变得非常紧张。因此，在技术风险可控的基础上，
希望引入大垂直分区
垂直分区是指在一个节点内集合数据按某字段，分成成多个数据段。每个范围代
表一个垂直分区。数据查询、写入时自动分发至相应分区中。垂直分区极大减少
硬盘数据访问，降低网络 I/O，加速查询。垂直分区共享资源（同一台物理机），
出发点在于将冷热数据隔离，如图 2-2 所示。
图 2-2. SequoiaDB 垂直分区
复制组和域
分区组又被称为复制组，一个复制组内可以包含一个或多个数据节点（或编目节
点），节点之间的数据使用异步日志复制机制，保持最终一致。
域（Domain）是由若干个复制组（ReplicaGroup）组成的逻辑单元。每个域都可
以根据定义好的策略自动管理所属数据，如数据切片和数据隔离等。以 3 台服务器为例，每台服务器 9 块磁盘。复制组的物理部署和域的逻辑组成如
图 2-3 所示：
采用 3 副本，按磁盘部署数据节点，每台机器部署 9 个数据节点，3 台机器横向
组成数据组，共 9 个数据组。如图域 1 包括数据组 1-3，域 2 包括数据组 5-9，
域 3 包括数据组 1-6，因此域在逻辑上由数据组组成，并且组成的数据组可以重
叠。
3 业务场景
随着用户的增加、业务的发展，大型企业用户的业务系统的数据量越来越大，而
且原有系统绝大部分基于关系型数据构建，表结构复杂，每个查询都需要关联若
干张大数据表，导致关联查询的性能非常低。
因此可以利用 SequoiaDB 存储海量历史、近线数据并开发数据查询统一入口，
按照数据生命周期管理的规则对历史、近线数据进行统一在线存储。另外平台提
供高并发、实时查询服务，解决了关系型数据库海量数据关联查询性能慢的问题。
根据业务系统历史、近线数据的需求，建立历史、近线数据存储区用于存储从源
系统直接导入的原始数据，包括超出生产系统保存期限的数据以及需要按时点备
份的数据。同时为提供在线、中高并发，小结果集的数据处理能力，可根据源系
统不同划分多个存储区域，集群内部使用划分数据域的方式进行分类管理。4 数据域划分方式
在业务系统通过接入平台将结构化数据接入到巨杉数据库时，需根据数据调研信
息对业务系统进行分类，以确定业务系统的存储量、并发大小、数据生命周期等，
为结构化数据在巨杉数据库中的存储规划提供信息支撑。业务系统结构化数据存
储到巨杉数据库可利用数据域技术对业务系统的数据区域进行功能划分，具体划
分方式如下：
海量数据或者高并发查询业务系统
这类业务系统的特点是业务查询并发较大，数据所占存储空间较大，对 cpu、内
存、网络要求较高，利用域对这类系统进行隔离，可以